統計的有意性
A/B テストの結果が「偶然ではない」と判定するための数学的基準です。p 値(p value)が 0.05 以下(信頼度 95% 以上)で「統計的に有意な差がある」と判定するのが一般的です。サンプル数 / 効果サイズ / 信頼水準の 3 つで決まり、サンプル数が少ないと有意差が出ず、施策判断ができません。
押さえておきたいのは、「目で見て勝ってる」は統計的有意性とは別物だということです。トラフィック量が不足したまま検定して「効いた」と誤解する事故が頻発するため、感覚的判断と統計的判断を混同しないリテラシーが運用上必要になります。
A/B テストの実務ルール(どう判断するか)
- 十分なサンプル数を確保する：サイトの規模にもよりますが、各パターンにつき最低でも数千(1,000〜10,000)のセッションが集まるまで待ちます。
- 期間は「2 週間以上」：曜日や時間帯によるユーザー行動の偏りをなくすため、必ず 1〜2 週間以上の期間をかけてテストします。
- データで判定する：「目で見て勝っている」という感覚的な判断は捨て、「p 値が 0.05 以下(95% の確率で偶然ではない)」という客観的なデータが出た時だけ「勝者」と判定します。
実務での落とし穴(よくある失敗例)
- トラフィック(サンプル数)不足での誤判断：データが少し集まった段階で「A パターンの方が反応がいい」とフライングで判定してしまうこと。(たまたまその結果になっただけの可能性が高く、本番反映後に効果が消えてしまいます)
- ビジネスへの影響が小さい：統計的には「有意差あり(偶然ではない)」と出ても、「ボタンのクリック率が 0.1% 上がっただけ」など、最終的な売上(KGI)へのインパクトが小さすぎる場合は、実装コストと見合わないことがあります。
- テスト期間中のノイズ：テスト中に別のキャンペーンを始めたり、サイトの他の部分を改修したりして、データが汚染されてしまうケース。
言葉をよく利用する人
- アクセス解析担当
- マーケター
- Web 担当者(発注側)
- 広告運用者
会話上での使用例
サンプル数が足りずテスト結果の判定に迷う場面
-
マーケター
A/B テストで B 案が CVR 1.3倍なんですが、各群まだ300セッションしかなくて。
-
アクセス解析担当
それだとまだ統計的有意性が出ていないですね。各群1,000以上は欲しいところです。期間を二週間延ばすか、広告を強めて流入を増やすかして、サンプルを確保してから判定しましょう。それまでは勝ちではなく兆候として扱うのが安全です。
効果は小さいが統計的に有意な結果が出た場面
-
マーケター
p 値が0.04で B 案が CVR プラス3%、統計的有意性は出ています。
-
Web 担当者
有意ではありますね。ただ差が小さいので、事業のインパクトを試算しておきましょう。プラス3%で月の CV が10件、年で120件増える計算なら採用に値します。サンプルが多いと小さな差も有意に出やすいので、実務的な意味とあわせて判断しましょう。