ハルシネーション
生成 AI が事実ではない内容を、もっともらしく出力する現象。「幻覚」の意。LLM の本質的な特性で、確率的に次の単語を予測する仕組み上、「存在しない論文を引用」「実在しない人物を著者として記載」「間違った統計値を断定的に出力」のような事象が起きる。「Hallucination」が英語表記。
本書のスタンス(Lesson 9-3)は「AI は事実と虚構を区別しないため、数字・固有名詞・統計・引用は必ず一次ソースで裏取りが必要」。AI が『ソースは○○』と答えても、そのソース自体が捏造の可能性がある。実物確認が唯一の確実な方法。「AI が言ってる」は事実確認の根拠にならない。
対策の実務:数字 / 固有名詞 / 統計 / 引用は必ず一次ソースで裏取り([[fact-check]])、AI が引用したソースの URL に実際にアクセスして確認、複数 AI のクロスチェック([[cross-check]])で重複した内容のみ採用、業界専門家による校閲、「ハルシネーションした事例」を失敗 DB に記録、AI の信頼度を「補助」として位置付け、最終判断は人、薬機法 / 景表法 / 著作権の専門領域は特に注意。
落とし穴は、AI 出力を「正解」と鵜呑みで公開して炎上、AI が引用したソースを確認せず信用、複数 AI で同じ間違いを学習している場合のクロスチェック失敗、ファクトチェックの工数を惜しむ、AI 校正で「事実関係」までチェックさせる(AI 校正は文体 / 文法が得意、事実確認は人)、海外の AI ニュース / 統計を引用してハルシネーション、AI 生成画像で実在人物に似てトラブル、AI が確信を持って言うので疑わない。
言葉をよく利用する人
- AI 活用担当 / プロンプトエンジニア
- ライター / コピーライター
- マーケター
- Web 担当者(発注側)
- 法務 / 契約担当
会話上での使用例
AI 生成記事のファクトチェックの場面
-
マーケター
AI で「BtoB SaaS 市場規模は 2025 年に 50 兆円」と書きました
-
Web 担当者
ハルシネーションの典型例です。50 兆円という数字、一次ソース(IDC / Gartner / 経産省など)で実物確認。AI に「ソース URL」を聞いて、その URL に実際にアクセスして数字確認。一致しないなら数字削除 + 「業界調査では市場拡大傾向」のような確定的でない表現に
AI 引用した論文が存在しなかった場面
-
ライター / コピーライター
AI が「○○ 大学の田中教授の論文」と引用
-
Web 担当者
ハルシネーション。論文 + 教授名 + 大学名を Google Scholar で検索 → 該当なしなら削除、別の実在ソースに置き換え。AI の引用は最低限の確認を必ず通す運用に。失敗 DB に記録、AI 利用ガイドラインに「引用は実物確認必須」を明記