ベイジアンABテストのサマリに出てくる「期待される損失率」とは何ですか?

期待される損失率とは、損失率(=コンバージョン率の減少量)の期待値です。

例として、「改善率」のヒストグラムが以下のようになっているときに、どのように期待される損失率が計算されるのか説明します。

image

なにかの変数の期待値とは、その変数が取りうる値と、その値が実現する確率をかけたものを、すべての場合について足し上げたものです。

このヒストグラムの各バーは、コンバージョン率の変化(X軸)とその値が実現する確率(Y軸)の2つの情報をもっています。これらのバー一つ一つについて損失率と確率を掛けたものを、全て足し上げれば、それが期待される損失率になります。

まず、青いバーは全て、Aで改善しているケースなので、損失は0と考え、確率がどうあろうと無視してよくなります。

オレンジのバーについては、たとえば以下のバーは、確率0.0666 (6.66%)で、損失率0.03 (3%)となりますので、0.0666 * 0.03 = 0.001998が、このバーからの期待される損失率への寄与となります。

image

同様の掛け算を全てのオレンジのバーについて行って、結果を足し上げたものが期待される損失率となります。

このように計算されるのが期待される損失率ですが、この値の解釈を一言で表せば「改善する場合を無視して、改悪されてしまう場合だけに注目したときに、どの程度の改悪を見込めばいいのかを見積もった値」ということになるのではないでしょうか。

「いいね!」 3