確証バイアス
自分の仮説や「こうあってほしい」という望む結論に合うデータだけを無意識に集め、それに反するデータ(反証)を無視してしまう人間の心理的な癖(認知バイアス)のことです。
Web 解析での罠：「あの施策は成功したはずだ」「サイトは順調だ」という思い込みがあると、それを裏付ける都合の良いデータばかりを集めたレポートを作ってしまいがちです。
バイアスを防ぐための運用ルール
社内だけで解釈するとバイアスが強化されやすいため、客観的な視点や仕組みを取り入れることが重要です。
- 失敗の併記：月次レポートには「想定通り」だけでなく、「効かなかった施策」「想定外の動き」を必ず 1 つ以上載せる。
- 比較対象を必ず置く：競合他社との相対比較を行ったり、A/B テストでは必ずコントロール群(比較基準となる、変更を加えない通常パターン)を用意する。市場全体の伸びを「自社の実力」と誤認するのを防げます。
- データの分解：全体平均ではなく、ユーザー属性(セグメント)別に分解して、不都合な真実が隠れていないか確認する。
- 第三者の目を入れる：外部業者や別部署の人間の解釈を交えたり、組織の「失敗データベース」を運用したりする。
よくある落とし穴(注意点)
- 「確証バイアスを知っているから自分は大丈夫だ」と過信してしまう。
- 反対のデータを載せても、無意識のうちに「これは例外だ」と軽く扱ってしまう。
- 経営層が喜ぶような「思い込みに合わせたレポート」を作ってしまう。
- AI のハルシネーション(もっともらしい嘘)：AI にレポート生成を頼む際、プロンプトで「施策が成功した理由をまとめて」と指示すると、AI もその結論に乗っかって、都合の良い分析をしてしまう。
言葉をよく利用する人
- SEO 担当者
- マーケター
- アクセス解析担当
- Web 担当者(発注側)
- 経営層
会話上での使用例
月次レポートに反証データを入れるか相談する場面
-
マーケター
今月のSEOレポート、順調な指標だけまとめておきました。
-
Web担当者
確証バイアスを避けたいので、効かなかった施策を3つと、想定と違った動きを2つ、必ず併記してもらえますか。経営層への報告でも、うまくいったことと課題の両面を見せたほうが、組織として正しい判断に近づけます。
-
マーケター
たしかに良いところだけだと判断を誤りますね。両面で出し直します。
経営層の思い込みに引きずられそうな場面
-
経営層
あの記事のリライト、効いたよね。
-
Web担当者
印象としては効いた感じがありますが、確証バイアスを避けるために個別の施策レポートで因果を確認させてください。順位と流入とCVの3段で測って、データで効果を判断する習慣を組織でそろえていきたいです。