生成AIの普及にともない、Webサイトを巡回して情報を集めるAIクローラーへの対応を検討する企業が増えています。「GPTBotをブロックするとAI検索に表示されなくなるのか」「どのAIクローラーを許可すればよいのか」「robots.txtにどう書けばよいのか」という相談を受けています。本記事では、AIクローラーの種類と役割、robots.txtでの制御の書き方、ブロックするかどうかの判断基準と設定後の確認方法を解説します。

この記事でわかること
  • AIクローラーの3つの種類と主要なUser-agent名の役割
  • GPTBotをブロックしてもAI検索に影響しない理由
  • robots.txtでAIクローラーを制御する書き方
  • ブロックか許可かの判断基準と設定後の確認方法
  • robots.txtの限界と設定時の注意点

AIクローラーの3つの種類と役割とは

AIクローラーとは、生成AIの学習や回答生成のために、Webサイトを巡回してコンテンツを取得するプログラムの総称です。どの事業者のクローラーも、目的によって「学習用」「検索用」「ユーザー起点」の3種類に分けて考えると整理しやすくなります。

AIクローラーを学習用・検索用・ユーザー起点の3種類に分け、それぞれの役割と、robots.txtでブロックした場合に何が変わるのかを比較して整理した概念図

学習用クローラー

学習用クローラーは、生成AIのモデルを作るための素材としてコンテンツを収集します。OpenAI社のGPTBotやAnthropic社のClaudeBotが代表例で、ブロックしても検索結果や回答での表示には直接影響しません。

検索用クローラー

検索用クローラーは、AI検索の回答に参照元として表示するためにコンテンツを取得します。OpenAI社のOAI-SearchBotやAnthropic社のClaude-SearchBot、PerplexityBotが該当し、ブロックするとAI検索で表示されにくくなります。

ユーザー起点のクローラー

ユーザー起点のクローラーは、利用者がAIに質問した際に、その場でページを読みに来るものです。ChatGPT-UserやClaude-User、Perplexity-Userが該当します。自動巡回とは性格が異なり、robots.txtの扱いも事業者ごとに違います。

当社は自社サイトで、BtoBマーケティングやAEO/LLMOのコンテンツ記事を100本以上運用しています。当社では、この3種類の違いを理解したうえで、AI検索で引用されたい記事ほどクローラーを遮断しない方針を取っています。

主要なAIクローラーのUser-agent名と役割の一覧

主要な事業者のUser-agent名と役割は、次の表のとおりです。2026年9月26日時点で各社の公式ドキュメントを確認した内容ですが、この領域は仕様変更が多いため、設定前に必ず最新の公式情報を確認してください。

事業者 User-agent名 種類 役割・robots.txtの扱い
OpenAI社 GPTBot 学習用 生成AIの基盤モデルの学習に使われうる収集。拒否すると学習に使わない意思表示になる
OpenAI社 OAI-SearchBot 検索用 ChatGPTの検索機能に表示するための収集。拒否すると検索回答に出なくなる
OpenAI社 ChatGPT-User ユーザー起点 ChatGPT上の利用者の操作で動く。robots.txtのルールが適用されない場合がある
Anthropic社 ClaudeBot 学習用 モデル学習用のWebコンテンツ収集。拒否すると今後の学習対象から除外される
Anthropic社 Claude-SearchBot 検索用 検索結果の品質向上のための収集。拒否すると検索での可視性が下がる
Anthropic社 Claude-User ユーザー起点 利用者の質問に応じてアクセスする。拒否するとユーザー起点の検索での可視性が下がる
Perplexity社 PerplexityBot 検索用 Perplexityの検索結果への表示用。基盤モデルの学習には使わないと公式に記載
Perplexity社 Perplexity-User ユーザー起点 利用者の操作で動く。robots.txtを原則として無視すると公式に記載
Google社 Google-Extended 学習用(制御用トークン) 今後のGeminiモデルの学習への利用を管理する。Google検索への掲載やランキングには影響しない

OpenAI「Overview of OpenAI Crawlers」（2026年9月26日）によれば、各設定は独立しており、OAI-SearchBotを許可したままGPTBotだけを拒否することもできます。ChatGPTでの引用を狙う場合の考え方は「ChatGPTに引用される方法｜コンテンツの作り方と5つの文章の型」で、Perplexityについては「Perplexity対策とは｜AI検索で引用されるための5つのSEO戦略」で詳しく整理しています。Microsoft社のBingbotについては、Bing Webmaster Toolsの公式ヘルプで最新の仕様を確認してください。Bing側の対策は「Bing Copilot対策とは｜AI検索のもう一つの主戦場を攻略する方法」が参考になります。

GPTBotをブロックするとAI検索に表示されなくなるのか

GPTBotをブロックしても、ChatGPTの検索機能での表示には影響しません。前述の公式ドキュメントで、GPTBotは学習用、検索への表示はOAI-SearchBotと役割が分かれているためです。

クライアント支援の現場では、GPTBotさえ許可すればChatGPTに表示される、あるいはGPTBotをブロックすると表示されなくなる、という理解で相談を受けるケースが見られます。ChatGPTでの表示を左右するのはOAI-SearchBotの設定であり、GPTBotの設定とは切り分けて考える必要があります。

Anthropic社も同様に、ClaudeBotは学習用、Claude-SearchBotは検索用と分けています。一方でGoogle社のGoogle-Extendedは、Google検索の掲載とランキングには影響しないと公式に説明されています。Google公式の「AI features and your website」（2026年9月26日）では、AI OverviewsやAI Modeに参照リンクとして表示されるには、検索でインデックスされスニペット付きで表示できる状態であることが条件とされています。つまりGoogleのAI機能への表示は、Googlebotによるクロールと通常の検索での扱いで決まります。AI検索の全体像は「LLMOとは？意味とGEO・SEOとの違い、AI検索対策4ステップ」で解説しています。

robots.txtでAIクローラーを制御する書き方

robots.txtでの制御は、対象のUser-agent名を指定し、Disallowでアクセスを拒否するだけで設定できます。robots.txtはサイトのルート直下に置くテキストファイルで、クロールの基本設定は「テクニカルSEOの基礎知識とは｜クロールとインデックス最適化の手順」でも扱っています。

基本の書き方

1つのUser-agentごとにグループを作り、その直下にDisallowを書きます。「Disallow: /」はサイト全体の拒否、パスを指定すると特定のディレクトリだけの拒否になります。一般的な仕様では、特定のUser-agentのグループがあるボットは、そのグループの記述だけに従い、「User-agent: *」のグループは参照されません。すでに「User-agent: *」で除外設定をしている場合は、AIクローラー用のグループにも同じ除外を書き足す必要があります。

目的別の記述例

1つ目は、学習には使わせず、AI検索の表示は残したい場合の記述例です。学習用のGPTBot、ClaudeBot、Google-Extendedだけを拒否し、検索用のOAI-SearchBotなどは何も書かずに許可のままにします。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

2つ目は、特定のディレクトリだけを学習から外したい場合の記述例です。会員向けや資料請求後のページなど、公開範囲を絞りたい領域だけを指定します。

User-agent: GPTBot
Disallow: /members/

User-agent: ClaudeBot
Disallow: /members/

3つ目は、AI検索の表示も含めて拒否したい場合です。検索用のOAI-SearchBotやClaude-SearchBotも同じ形で「Disallow: /」を追加します。Anthropic社の公式ヘルプでは、ClaudeBotの巡回頻度を抑える「Crawl-delay」の記述も案内されています。

AIクローラーをブロックするか許可するかの判断基準

判断の軸は、AI検索で引用されたいかどうか、学習への利用を許可するかどうかの2点です。AI検索での引用を狙うなら検索用クローラーは許可し、学習への利用だけを個別に判断するのが現実的です。

AIクローラーをブロックするか許可するかを、AI検索で引用されたいか、学習への利用を許可するか、公開してよい範囲か、の3つの問いで判断し、robots.txtの記述方針を決めるフロー図

当社では、AI検索での引用を狙う方針のため、自社サイトのrobots.txtにAIクローラーを個別にブロックする記述は入れていません。robots.txtでは「User-agent: *」で管理画面(admin-ajax.phpは許可)、タグページ、サイト内検索結果、デモ用ディレクトリを除外し、サイトマップを指定しています。AIクローラーを制限しない設計にしたうえで、引用状況はAIMentionで計測しています。

サイトの目的 検索用クローラー 学習用クローラー
AI検索で積極的に引用されたい(オウンドメディア・サービス紹介) 許可 方針に応じて選択
学習には使われたくないが、AI検索では見つけてほしい 許可 拒否
会員限定・社外秘に近い情報を扱う領域 拒否(認証も併用) 拒否(認証も併用)

実務の現場でよく見られる傾向として、判断に迷うのは学習用の扱いです。学習を拒否しても検索順位が下がるという公式の説明はなく、一方で許可しても引用が増える保証もありません。まずは、ブロックの理由を「著作物の扱いに関する社内方針」といった自社の基準で言語化し、それにそって決めることをおすすめします。AI検索対策の優先順位づけは「AEO対策のやり方とは？自社で今日から始める7つのチェック項目【2026年版】」、AI向けの案内ファイルとの違いは「llms.txtとは？書き方・設置方法と効果の有無を解説【2026年版】」が参考になります。

設定後の確認方法とサーバーログの見方

設定後は、サーバーのアクセスログでUser-agent名を検索し、想定どおりの挙動かを確認します。ログにGPTBotやOAI-SearchBotなどの名前が残るため、拒否したクローラーが巡回を続けていないかを確認できます。

OpenAI社のドキュメントでは、robots.txtの更新がOAI-SearchBotに反映されるまで約24時間かかることがあると案内されています。OpenAI社とAnthropic社はいずれもクローラーのIPアドレス範囲を公開しているため、User-agent名を偽装したアクセスかどうかは、IP範囲との照合で判断します。Anthropic社の公式ヘルプでは、IPブロックだけでは確実に遮断できないとして、公開されたIPリストでの識別が案内されています。なお、ログの確認はレンタルサーバーの管理画面から行えるケースが多く、当社では設定変更のたびに、robots.txtの記述内容とあわせてログ上の動きを確認しています。

robots.txtの限界と設定時の注意点

robots.txtは、クローラーへの要請であり、アクセスを強制的に遮断する仕組みではありません。Google公式の「Robots.txt Introduction and Guide」（2026年9月26日）でも、robots.txtはページをGoogleから隠すための仕組みではなく、従うかどうかはクローラー次第と説明されています。

ユーザー起点のクローラーは、とくに注意が必要です。OpenAI社はChatGPT-Userにrobots.txtのルールが適用されない場合があるとしており、Perplexity社もPerplexity-Userはrobots.txtを原則として無視すると記載しています。robots.txtだけで、利用者の操作による取得まで完全に止められるわけではありません。

機密性の高い情報は、robots.txtではなく認証やパスワード保護で守る必要があります。AIツールの利用や情報管理の全体像は「AIセキュリティとガバナンスとは｜中小企業が押さえたい5つの対策」で整理しています。また、robots.txtの記述ミスは、Googleなど検索エンジンのクロールにも影響します。「User-agent: *」に「Disallow: /」を書いてしまうと、サイト全体が検索から見えなくなるおそれがあるため、変更前後で必ず確認します。

まとめ

AIクローラーは学習用・検索用・ユーザー起点の3種類に分かれ、GPTBotのブロックは検索表示ではなく学習への利用に関する設定です。AI検索で引用されたいなら検索用は許可し、学習用だけを自社の方針で判断するという整理で、robots.txtの記述はシンプルに保てます。

各社のUser-agent名や仕様は変わりやすいため、設定前に公式ドキュメントで最新の内容を確認してください。AI検索での引用を含めた対策を整理したい場合は、AEO/LLMO対策もあわせてご確認ください。

この記事をSNSでシェア
CONTACT お問い合わせ

マーケティングでお困りでしたらご相談ください

マーケティング戦略立案から実行支援まで、貴社の課題に応じた最適なプランをご提案します。まずはお気軽にご相談ください。

お問い合わせはこちら

よくある質問

Q GPTBotをブロックするとAI検索に表示されなくなりますか？

A

GPTBotは学習用のクローラーで、ChatGPTの検索機能での表示はOAI-SearchBotが担っています。OpenAI社の公式ドキュメントでは各設定は独立しており、GPTBotをブロックしても検索表示には影響しないとされています。

Q AIクローラーの種類と役割は何ですか？

A

AIクローラーは、モデルの学習用、AI検索の回答に表示するための検索用、利用者の質問時にその場でページを読むユーザー起点の3種類に分けて考えると整理しやすくなります。事業者ごとにUser-agent名が異なります。

Q robots.txtでAIクローラーを制御する書き方を教えてください。

A

対象のUser-agent名の行を書き、その直下に「Disallow: /」を記述します。学習用のGPTBotやClaudeBotだけを拒否し、検索用は何も書かずに許可する形が基本です。「User-agent: *」の設定がある場合は、AIクローラー用のグループにも同じ除外を書き足します。

Q AIクローラーはブロックしたほうがよいですか？

A

AI検索で引用されたい場合は、検索用クローラーを許可することをおすすめします。学習用の扱いは、著作物に関する社内方針などにもとづいて判断します。全体の優先順位は、AEO対策のやり方とは？自社で今日から始める7つのチェック項目【2026年版】で整理しています。

Q robots.txtでAIクローラーを制御しても、完全には防げないのですか？

A

robots.txtはクローラーへの要請であり、強制力はありません。ChatGPT-UserやPerplexity-Userのように、ルールが適用されない、または原則無視されるとされるものもあります。AIクローラーの制御方針の設計については、当社へのご相談もご検討ください。