ベイジアンABテストの理解について

#1

いつもありがとうございます。ベイジアンABテストをやっていて、動画なども拝見してわからなくなったので質問です。ベイズの定理は、P(X|Y) = P(Y|X)P(X)/P(Y) であり、P(X|Y)：Yが起こった条件下でXが起こる確率…高ければ高いほどXとYの関係性は強いといえる。これを二つのXで比較する（Aの場合と、Bの場合と）のがベイジアンABテストのアイディアでその確率が高いか低いかが示される。
上記のように理解してあっているでしょうか。教えてください。

#2

ベイジアンABテストが何なのか、と、ベイズの定理との関係性の２つの論点に分けてお答えさせていただこうと思います。

まず、ベイジアンABテストが何なのかということを捉える見方としては、ベイジアンではない（頻度主義の統計を使った）ABテスト（母比率の差の検定）との比較で捉えるのがよいのではないかと思います。

どちらの検定もグループA、グループBの「真のコンバージョン比率」といったものを考えますが、頻度主義の場合は、これを一つの値を持った点として考えることしかできません。（帰無仮説、検定統計量、といった考え方はこの縛りの中でロジックが組み立てられています。）

それに対してベイズ統計の場合は、「真のコンバージョン比率」を、確率分布を持った、幅のある値として考えることが許されます。（頻度主義でこれを考えることはそもそもの主義に反するのでご法度となります。）

ベイジアンABテストでやっているのは以下のようなことになります。

  1. グループAの「真のコンバージョン率」の確率分布をデータをもとに見積もる。

  2. グループBの「真のコンバージョン率」の確率分布をデータをもとに見積もる。

  3. ２つの確率分布から、「グループAの真のコンバージョン率のほうがグループBの真のコンバージョン率よりよい確率」などの有用な指標を見積もる。

次にベイズの定理との関係性ですが、ベイズの定理の式がベイジアンABテストの中で直接使われるというよりも、ベイズの定理の式はベイズ統計というものの基礎的な考えに関わる式なので、ベイジアンABテストとも間接的に関わりがあるということになる、という程度の関係性です。

P(X|Y) = P(Y|X)P(X)/P(Y)と、式にして表現するときは、Xを原因、Yを実際に起きていることとして、P(X|Y)を、Yが実際に起きているときに、その原因がXである確率、というような捉え方をします。

ベイジアンABテストに、これを抽象度を上げて緩く当てはめると、Yは手元のデータ、XはグループA、Bの真のコンバージョン率、ということになり、「手元のデータのような状況が実際に起きているときに、それを起こすようなグループA、Bの真のコンバージョン率の確率分布を求めることができる」ということを言っている式と解釈できます。これはまさに先程説明した、ベイジアンABテストがやっている内容、ということになります。

「いいね！」 1
#3

ありがとうございます。上記原理的なことは理解が進みました。
関連しての質問を続けさせてください。

ABテストを、ある事象が起こったか起こらなったか、ということに読み替えるとします。
たとえば卒業生が起業したかどうかの背景を調べる際、ご両親が起業経験あったどうか。

これまでのアプローチでは、
卒業生の起業・両親の起業経験をカテゴリー化（いわゆるダミー変数化）して、1と0にし、それぞれをカテゴリー変数（Exploratoryでいうロジック変数）とする
ロジスティクス回帰モデルによって正答率、有意確率（p）、オッズ比を見て影響度合いを判定する。SPSSではここで、Hosmer-Lameshowの比率などもみる。
結論は、両親の起業経験がある場合、ない場合に比べてオッズ比より本人の起業は1.5倍になる、というように表現する。

ということをしていました。

これに対し、ベイジアンABテストを応用すると、両親の起業経験をX、卒業生の起業をYとして同様の計算ができるのではないでしょうか。

よって追加の質問は、
上記のようなケースにあたりロジスティクスモデルに変わって、ベイジアンABテストを行うことは適切かということ。
もしそうであった場合に、その二つを併用して性能を見比べる、ということを行ったりすることは適切か、ということ。

このふたつです。

意見としては、結論だけが欲しいのならばロジスティクスモデルによる結論を示せばよいかと思いますが、発見をより立体的にしたい場合併用して両方をみることがあってもよいかと考えています。またロジスティクスモデルが有意な結論とみなされないものをこれまではそのままにしていたので、そうしたものでもベイジアンABテストにおいては発見があるのならばもう一段踏み込んだ分析ができるのではないか、とも思っています。

いかがでしょうか。合わせて教えていただけると（急ぎません）。

#4

おっしゃるとおり、ロジスティック回帰による分析も適用できるケースだと思います。
はっきりした傾向が見られるようなケースであれば、おそらくは両者で同じような結果が出るものと思います。

「いいね！」 1
#5

横からすみません。以前メルマガのデザインについてA/Bテストを社内で実施したときのことを思い出しました。
頻度主義でコンバージョン率の信頼区間を求めても、それはコンバージョン率がある幅になることを意味しないため、社内で説明がしにくいんですよね。
それに対してベイズ推定による確信（信用）区間は、「●%の確率で、CVRは■%から▲%の幅に収まることが予測できました」と報告してよいため、使いやすいと感じました。
このあたり、勘違いしているかもしれませんが、 豊田秀樹先生の本などの受け売りです、、、。

「いいね！」 3