データのサンプルが少ない場合、信頼区間が長くなるため、手元のデータでは比較対象のグループの間に、有意な(意味のある)違いは、ないと言えない結果になることがあります。
そのため、一定量のデータが集まった時に、信頼区間が重なっているかどうかで判断する必要があります。
逆に、サンプルサイズが大きい時には僅かな差でも、信頼区間が重なっていないために差がある、という結果になることもあります。
その場合は、その手元のデータから見えている差がどれだけ重要なのかを業務知識をもとに判断することになります。
データのサンプルが少ない場合、信頼区間が長くなるため、手元のデータでは比較対象のグループの間に、有意な(意味のある)違いは、ないと言えない結果になることがあります。
そのため、一定量のデータが集まった時に、信頼区間が重なっているかどうかで判断する必要があります。
逆に、サンプルサイズが大きい時には僅かな差でも、信頼区間が重なっていないために差がある、という結果になることもあります。
その場合は、その手元のデータから見えている差がどれだけ重要なのかを業務知識をもとに判断することになります。