カイ二乗検定で、見積もったサンプル数のデータを用意してもタイプ2エラーの確率が抑えられない

質問
#1

カイ二乗検定で、サンプル数の見積もりを試しています。

検出したい効果量(Cohen’s w)0.1で、タイプ2エラーの確率を0.1以下に抑えたいとして、必要なサンプル数を見積もると、 1050.74行と出ました。

image

そこで、1050行のデータを用意して、再度検定を走らせてみましたが、タイプ2エラーの確率は、0.318と、0.1以下に抑えられていません。何が問題なのでしょうか？

image

※カスタマーサポートに寄せらたお客様からの質問を、個別の事情を伏せて一般的な質問に書き換えた上で共有させて頂いたものです。

#2

「検出したい効果量」が指定されていないと、データ中に実際にある効果量を「検出したい効果量」として使用してタイプ2エラーの確率が計算されるため、もともとの見積もりの前提である、検出したい効果量＝0.1という前提と異なる前提でタイプ2エラーが計算されてしまっています。

検出したい効果量に、もとの見積もりで使った0.1を指定してみると、タイプ2エラーの確率は、見積もりでねらったとおり0.1程度に抑えられました。

image

この部分の挙動は、ややわかりにくいので、よりよいUI上の表現方法を現在検討中です。