AIクローラーへのrobots.txt設定、許可と拒否の判断基準

「AIクローラーはすべて拒否しておけば安全だ」という判断を、事業内容を確認せずに下している事業会社を見かけます。GoogleとOpenAI、Anthropicのクローラーは、検索インデックス登録用とAI学習用で別のUser-agentトークンを使っています。拒否する対象を取り違えると、通常の検索評価まで失いかねません。

検証環境：Google・OpenAI・Anthropic 各社公式クローラードキュメント／2026-08-07確認

01結論：AIクローラーへのrobots.txt設定は、事業モデルで判断が分かれる

AIクローラーには、検索インデックス登録用と、AI学習・回答生成用という目的の異なる複数のUser-agentトークンが存在します。

robots.txtでの許可・拒否は、自社コンテンツが収益源かどうか、AI検索経由の言及や流入をどう評価するかという事業モデルの軸で判断するものです。

本記事は「拒否すべき」という一律の結論を示すのではなく、判断に使える基準と自社サイトの実装例を示します。

02AIクローラーとは何か、Googlebotとの違いを整理する

Google公式は検索の仕組みを「クロール」「インデックス登録」「検索結果への表示」という3段階で説明しています（出典: Google Search Central）。この3段階を担うのが、通常のGooglebotです。

Google-Extendedは、この検索用クローラーとは別のUser-agentトークンです。Gemini関連モデルの将来的な学習にコンテンツを使用するかどうかを、サイト側が個別に管理できます（出典: Google Search Central）。

Google公式の一覧ページ（2026年7月14日更新版）によると、クローラー名は11件掲載されています（出典: Google Search Central）。Googlebot本体もこの一覧に含まれます。

• Googlebot（デスクトップ・スマートフォン、検索インデックス登録用）
• Googlebot Image
• Googlebot Video
• Googlebot News
• Google StoreBot
• Google-InspectionTool
• GoogleOther
• GoogleOther-Image
• GoogleOther-Video
• Google-CloudVertexBot
• Google-Extended（AI学習用データ提供の管理トークン）

検索インデックス登録を担うのはGooglebotで、AI学習用データの提供可否を管理するのはGoogle-Extendedです。両者は別のUser-agentトークンです。片方の設定が、もう片方に自動的に及ぶことはありません。

Google-Extendedを許可・拒否した場合に、検索順位や検索結果への表示そのものへ影響するかどうかは、公式ドキュメントから直接確認できていません。本記事ではこの因果関係を断定しません。

03Google・OpenAI・Anthropic、3社のAIクローラー仕様を確認する

3社とも、検索・回答表示用のクローラーと、AI学習用データ収集のクローラーを別のUser-agent名で分けています。まず全体の対応関係を整理します。

OpenAIは、GPTBotのほかに3種類の公式ボットを公開しています（出典: OpenAI）。

• GPTBot：生成AI基盤モデルの訓練データ収集用
• OAI-SearchBot：ChatGPT検索機能の結果表示用
• OAI-AdsBot：ChatGPT広告の安全性検証用
• ChatGPT-User：ユーザーがChatGPTに操作を指示した際のページ取得（自動クロールではない）

GPTBotの正式なUser-agent文字列には、バージョン番号GPTBot/1.4が含まれています（出典: OpenAI）。OpenAI公式は、GPTBotを拒否することの意味を次のように説明しています。

"Disallowing GPTBot indicates a site's content should not be
used in training generative AI foundation models."
出典: OpenAI「Overview of OpenAI Crawlers」

Anthropicは、ClaudeBot・Claude-User・Claude-SearchBotという3種類のボットでクロール体制を構成しています（出典: Anthropic）。

• ClaudeBot：AIモデル開発用のWebコンテンツ収集
• Claude-User：ユーザーの質問応答時のWebアクセス
• Claude-SearchBot：検索結果品質向上のためのWebナビゲーション

Google-Extendedのrobots.txt記述例は、公式ドキュメントに次のように示されています（出典: Google Search Central）。

user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/

ClaudeBotについては、全面拒否とクロール頻度の抑制、両方の記述例が公式ドキュメントに示されています（出典: Anthropic）。

User-agent: ClaudeBot
Disallow: /

User-agent: ClaudeBot
Crawl-delay: 1

Crawl-delayはAnthropicが独自にサポートする非標準の拡張です（出典: Anthropic）。他社のクローラーが同じ記法を読み取るとは限らないため、全社共通の設定だと思い込まないでください。

04許可した場合と拒否した場合に何が起きるか

「許可」と「拒否」が何を意味するかは、クローラーごとに異なります。表で整理します。

拒否の対象は「学習データとして使われるかどうか」であり、検索結果やAI回答に自社サイトの情報が一切出なくなるという意味ではありません。ユーザーがAIサービスへ直接URLを渡したときのアクセス（ChatGPT-UserやClaude-User）は、学習用クローラーの設定とは別枠で動きます。

05robots.txtの指示は本当に守られるのか

Anthropicは、自社のボットがrobots.txtの「do not crawl」シグナルを尊重すると公式に明記しています（出典: Anthropic）。IPアドレスによるブロックは正しく機能しない場合があるとも述べられており、確実な制御にはrobots.txtの修正が推奨されています。

OpenAIも、GPTBotを拒否することの意味を公式ページで明記しています（出典: OpenAI）。これは各社が自社の方針として遵守を表明しているという事実であり、第三者が独立に遵守率を検証した公開情報を、本誌はまだ確認できていません。

robots.txtはクローラーへの要請であり、法的な強制力を持つ仕組みではありません。遵守するかどうかの実態を独立に調べたと称する調査は、方法論の開示が限定的なものが多いため、本記事では各社が公式に明言している遵守方針までを事実として扱います。遵守の実態そのものは断定しません。

06事業モデル別、AIクローラーを拒否する判断基準

学習用クローラー（Google-Extended・GPTBot・ClaudeBot）の拒否を検討する材料は、次のようなケースです。

• 独自に収集した調査データ・統計データそのものが商品であり、要約されて無償で読まれると収益が目減りする
• 会員限定・有料コンテンツの本文が、robots.txtの対象範囲に含まれてしまっている
• 取材記事など、一次情報としての価値が「そのままの文章」に強く依存している
• 競合との差別化要因が独自の分析手法や表現そのものにあり、要約でも代替されやすい

これらに当てはまる事業でも、拒否する対象は学習用クローラーに限定してください。検索インデックス登録用のGooglebotまで誤って拒否すると、通常のSEO評価そのものを失います。

07事業モデル別、AIクローラーを許可する判断基準

学習用クローラーの許可を検討する材料は、次のようなケースです。

• 自社のサービス名・商品名がAIの回答内で正確に言及されることが、認知や指名検索につながる事業である
• 記事・ノウハウの公開自体が営業導線であり、要約されて広く知られる方が広告効果に近い
• AI検索経由の流入や言及を、既存のマーケティング指標に組み込みたい方針がある

AI検索経由の流入をどう計測するかは、既存のアクセス解析の分類にまだ揺れがある領域です。『GA4のAI Assistantチャネル新設、見落としやすい分類の穴』でも、対象AIサービスの扱いにブレがある点を扱っています。許可する場合でも、流入の可視化は別途整える必要があります。

08自社のAIクローラー向けrobots.txt実装例

AI MARKETING JOURNAL自身は、AI検索クローラーの巡回を積極的に許可する方針で運用しています。自誌がAIOを教えながら自ら実践できていなければ説得力を持たないと考えているためです。

本誌のrobots.txtは、次のような構成です。

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://ai-marketing.webmarks.co.jp/sitemap.xml

既定の全許可（User-agent: *）に加えて、AIクローラー向けの個別Allow指定が9件あります（自社実測、2026-08-07確認）。個別に行を分けているのは、各社の仕様変更を追いやすくするためです。将来、特定のクローラーだけ挙動を変えたくなった場合に、該当行だけを書き換えられます。

09AIクローラーrobots.txt設定でつまずきやすい点

『AI時代のテクニカルSEO｜構造化データより先に見る所』でも触れていますが、User-agent名を書き間違えてGooglebotまで拒否してしまう失敗はよく起こります。ここでは、それとは別の2つの誤解を扱います。

学習用クローラーを拒否すれば自社の情報がAIから一切見えなくなる、という誤解です。GPTBotを拒否しても、ユーザーがChatGPTに自社サイトのURLを直接渡した場合のアクセス（ChatGPT-User）は止まりません（出典: OpenAI）。Anthropicも同様に、ClaudeBotとは別にClaude-Userという枠を持っています（出典: Anthropic）。学習データからの除外と、ユーザー操作起点のアクセスは別問題です。

Crawl-delayを書けば全社のクロール頻度を抑えられる、という誤解もあります。Crawl-delayは非標準の拡張であり、Anthropicがサポートを明記しているのはClaudeBot向けの記法です（出典: Anthropic）。他社のクローラーにも同じ効果があるとは、公式ドキュメントからは確認できていません。

10AIクローラーrobots.txt設定チェックリスト

• Google-ExtendedとGooglebotを、別のUser-agentトークンとして区別して記述した
• GPTBotを拒否しても、ChatGPT-User経由のアクセスは別枠だと理解した
• ClaudeBotとClaude-User・Claude-SearchBotの違いを確認した
• 独自データ・有料コンテンツの比重から、拒否を検討すべきかを判断した
• AI検索経由の言及・流入をどう評価するかの方針を、許可・拒否の判断に反映した
• robots.txtの記述をrobots.txtテスター等で公開前に確認した
• User-agent名を1行ずつ見直し、誤字がないか確認した
• 設定変更後、Search Consoleのクロールの統計情報レポートで変化を確認する予定を立てた

11FAQ