robots.txt

よみ: ロボッツテキスト

Google などのクローラー(検索エンジンの巡回ロボット)に対して、「このページは見に来て良いですよ(Allow)」「ここは見に来ないでください(Disallow)」という指示を伝えるためのテキストファイル。サイトの最も上の階層(ルートディレクトリ)に /robots.txt として配置し、Web サイトを運営する上でほぼすべてのサイトに必要となる基本ファイル。

最大の特徴：「たった 1 行のミス」でサイトが消滅する重大リスク

現場で最も注意すべきは、これが「誤った設定をすると検索順位が全て吹き飛ぶ、極めて危険なファイル」であるという点。制作業者がテスト用の環境(ステージング環境)で作った「Disallow: /(サイト内の全ページを巡回禁止にする指示)」という設定を、うっかりそのまま本番環境に公開してしまう事故が後を絶たない。これをやると、数日後に Google のインデックス(検索データベース)から自社の全ページが消滅し、売上がゼロになる大惨事になる。

運用の要点：プロが行う安全なルールと最新トレンド

本番は最小限に：本番環境では基本的に空に近い状態にし、WordPress の管理画面(/wp-admin/)など、検索に出る必要がない裏側の領域だけを Disallow で拒否する。また、サイトの地図である「sitemap.xml(XML サイトマップ)」の URL を必ず記述し、クローラーを案内する。
テスト環境の守り方：テスト環境を robots.txt だけで隠すのは危険。必ず Basic 認証(ベーシック認証)(簡易的な ID・パスワード制限)をかけて、そもそも見られないようにロックする。

現場でよくある「落とし穴」

「隠すつもりが大暴露」のセキュリティ事故：会員限定ページなどの秘密の URL を Disallow に記述して隠したつもりになる。悲惨な末路として、robots.txt は誰でもブラウザから見ることができる。つまり、悪意のあるハッカーに「ここに秘密のページがありますよ」と URL リストを自ら教えているのと同じであり(＝鍵をかけずに入室禁止の看板を立てただけ)、情報漏洩に直結する。
「noindex」との矛盾トラップ：検索結果に出したくないページに noindexタグを入れ、さらに念押しで robots.txt でも Disallow(巡回禁止)にしてしまう。悲惨な末路として、クローラーがそのページに一切入れなくなるため、中にある「noindex タグ」の存在自体を読み取れなくなり、結果として検索結果に残り続けてしまう。
AI 時代への方針不在：近年急増している生成 AI のデータ収集ボット(GPTBot、ClaudeBot、PerplexityBot など)に対し、自社のコンテンツを学習させて良いのか(許可)、それとも拒否するのかの全社方針が決まっておらず、無防備にデータを吸い上げられ続ける。

言葉をよく利用する人

コーダー / フロントエンドエンジニア
インフラエンジニア
SEO 担当者
Web 担当者(発注側)
ディレクター

会話上での使用例

リニューアル後にインデックス数が急減して原因を探る場面

SEO 担当者
リニューアル後、Search Console のインデックス数が 1,200 から 30 まで激減しています。
Web 担当者
まず robots.txt を最優先で確認しましょう。テスト環境用の全クロール禁止の設定が、そのまま本番に混入している可能性が極めて高いです。すぐ確認して、修正したら Search Console で再申請する手順で進めます。
SEO 担当者
では中身をすぐ確認します。混入していたら即修正ですね。

AI クローラーを許可するか拒否するか方針を決める場面

広報
robots.txt で AI のクローラーは拒否しておくべきでしょうか。
Web 担当者
本書の方針では許可です。AI 検索で引用されることで、ブランドの露出や指名検索の増加が期待できます。どうしても商用利用を厳密に避けたい記事があれば、そのページだけ個別に対応する形にしましょう。
広報
なるほど、基本は許可で、必要な記事だけ個別対応ですね。