A/B テスト

よみ: エービーテスト

2 つの案(A パターン・B パターン)をユーザーにランダムに出し分け、どちらの成果が良いかをデータで判定する手法です。「分割テスト」「Split Test」とも呼ばれます。ユーザーはテストされていることを意識せず、自然な状態での反応(クリック数・滞在時間・CVなど)を比較できます。Web 広告、LPのキャッチコピー、CTAボタン、メルマガの件名など、多用途に使われます。

実践のポイント

意味のある結果を出すには、各群 1,000 セッション以上のアクセス量と、ユーザーに与える印象が大きく変わるテーマ(訴求軸の違いなど)が必要です。「ボタンの色」や「写真の微細な違い」から始めるのは失敗のもと。アクセス量が足りない場合は、ヒートマップやセッションリプレイなど「定性的な手法」を選ぶのが現実的です。

運用の重要論点

テーマ選び：印象差の大きい要素(訴求軸・ファーストビューなど)を選ぶ。
サンプル数：統計的に信頼できる結果を出すため、各群 1,000〜10,000 セッションを確保する(統計的有意性)。
テスト期間：曜日や時間帯の偏りをなくすため、2 週間〜1 ヶ月程度実施する。
判定基準：信頼区間(95% など)を事前に決めておく。
ナレッジ化：結果を組織で共有し、失敗例も失敗データベースに記録する。

よくある落とし穴(注意点)

アクセス量が不足しているのに「効果があった」と誤解してしまう。
テスト期間が短く、特定の曜日や季節要因の影響を受けてしまう。
複数の施策を同時に行い、何が要因で成果が上がったのか分からなくなる。
判定基準が曖昧で、「なんとなくこっちが良さそう」で決めてしまう。
最終ゴール(CV)ではなく、途中経過(クリック率など)だけで勝敗を決めてしまう。
テストで勝った案を、本番環境に反映するのを忘れる。
Cookie 規制の影響により、正確な計測が難しくなっていることを見落とす。

言葉をよく利用する人

マーケター
アクセス解析担当
Web 担当者(発注側)
デザイナー
広告運用者

会話上での使用例

テスト開始前に必要なアクセス数を確認する場面

マーケター
ランディングページのキャッチコピーでA/B テストを始めようと思います。
Web 担当者
今このページの月間アクセスが2,000ほどなので、二案を半分ずつにすると一か月かけても差がはっきり出にくいんです。テーマもコピー一行より、ファーストビュー全体の打ち出し方をAとBで大きく変えるくらいのほうが結果が出やすいので、二か月くらいかけて試しませんか。

テスト結果を採用するか判定する場面

マーケター
B案のほうがA案よりコンバージョン率が1.2倍でした。Bを採用していいですよね。
Web 担当者
そこは統計的有意性を確認してから決めましょう。各案で5,000アクセスくらいあれば1.2倍の差は信頼できそうですが、念のため数字のばらつきを見て、テスト期間中に他の施策が重なっていなかったかも整理してからにしたいです。