この記事の要点

  • AIクローラーには、AIに文章を覚えさせるために集めるものと、AI検索の回答でサイトを紹介するために内容を読み取るものがあり、robots.txtという設定ファイルで別々に扱えます。
  • 2026年8月時点で、OpenAI、Anthropic、Google、Perplexityはいずれも自社のクローラーの名前と役割、止め方を公式サイトで公開しています。
  • AI検索経由で見つけてもらうことを目的とする企業サイトについて、サイトモはAI検索用のクローラーを明示的に許可する設定を基本にしています。
  • 利用者がその場で「このページを読んで」と指示したときの読み取りは、robots.txtの指定に従わない場合があるとOpenAIとPerplexityが公式に説明しています。
  • 許可設定をしただけで内容が伝わりやすくなるわけではありません。本文の書き方や構造化データとあわせて整える前提の作業です。

AIクローラーとは何ですか

AIクローラーとは、生成AIを提供する会社が、公開されているウェブページの文章を自動で読み取るために動かしているプログラムです。人が見て回る代わりに、リンクをたどってページを取得していきます。Google検索の巡回プログラムと仕組みは似ていますが、集めた文章の使い道が違います。

使い道は大きく二つに分かれます。ひとつはAIそのものを賢くするための材料として使う場合。もうひとつは、利用者の質問に答えるときに参照して、回答の中でサイトを紹介するために使う場合です。同じ会社でも、この二つを別のプログラムとして分けて動かしています。

そして、どのプログラムに自社サイトを読ませるかは、サイト側が指定できます。その指定を書く場所が、サイトの一番上の階層に置くrobots.txtというテキストファイルです。robots.txtは、巡回プログラム向けに「どこを読んでよいか」を書いておくための、昔から使われている取り決めです。

技術的な遮断ではありません。

robots.txtは、アクセスを強制的に止める仕組みではなく、各社が方針として従う前提の申し合わせです。確実に見せたくない情報は、ログインの内側に置く必要があります。

学習用とAI検索用は何が違いますか

学習用を止めてもAI検索の回答から消えるわけではなく、AI検索用を止めると回答での紹介が減る可能性がある、という違いがあります。ここを混同したまま「AIに勝手に使われたくない」と全部を拒否してしまうと、AI検索から自社が消える側面だけが残ります。

2026年8月時点で各社が公式に公開している内容を、役割ごとに並べます。名前は設定ファイルに書くときの正式な表記です。

名前 提供元 役割 拒否したときの影響（各社の説明）
GPTBot OpenAI ChatGPTの土台となるAIを学習させるための収集 今後の学習対象から外れる意思表示になる
OAI-SearchBot OpenAI ChatGPTの検索機能でサイトを紹介するための読み取り ChatGPTの検索結果に出なくなる
ChatGPT-User OpenAI 利用者の指示でその場でページを見に行く動き 自動巡回ではなく、robots.txtの指定に基づいて動くものではないと説明されている
ClaudeBot Anthropic Claudeの学習に使う可能性がある収集 今後の学習データから除外される
Claude-SearchBot Anthropic Claudeの検索結果の質を上げるための索引づくり 索引に入らず、Claudeの回答での露出や正確さが下がる可能性がある
PerplexityBot Perplexity Perplexityの検索結果でサイトを紹介するための読み取り 学習には使っていないと明記されており、拒否すると紹介対象から外れる
Google-Extended Google Geminiの学習や回答の裏付けに使うかどうかの指定 Google検索への掲載や順位には影響しないとGoogleが明記している

表で特に注意していただきたいのは最後の行です。Google-Extendedを拒否してもGoogle検索の掲載や順位には関係しない、とGoogle自身が説明しています。逆に言えば、Google検索での見え方を調整したいときに触るべき場所ではありません。

自社は許可すべきか、拒否すべきか

判断の分かれ目は、自社サイトの文章そのものが売り物かどうかです。集客のために情報を載せているサイトと、文章や資料を有料で提供しているサイトでは、答えが変わります。

会社案内、サービス説明、料金、事例、よくある質問といった内容を載せて問い合わせにつなげているサイトであれば、読み取られて困る情報は基本的にありません。むしろ、AI検索の回答の中で自社名が挙がらないことのほうが機会損失になります。士業や建設業のように、地域と分野で指名検索が起きやすい業種ほど、この傾向は強いと考えています。

一方で、有料会員向けの記事、独自の調査レポート、教材のように文章自体が商品である場合は、学習用の収集だけを断るという選択が現実的です。学習用とAI検索用が別々に指定できるので、「AI検索には出したいが、学習の材料にはされたくない」という中間の選び方ができます。

サイトモは、集客と信頼づくりを目的とした企業サイトについては、学習用もAI検索用もまとめて許可する設定を基本にしています。理由は単純で、読み取られることを前提にした文章の書き方を整えるほうが、遮断するよりも成果につながりやすいと考えているためです。サイトモ自身のサイトも同じ方針で運用しています。

サイトモのrobots.txtの書き方

サイトモはrobots.txtの中で、主要なAIクローラーを名前ごとに一つずつ書き出し、許可することを明示しています。「特に指定していないので結果的に読める」状態と、「意図して許可している」状態を分けたいからです。実際の内容はhttps://site-more.com/robots.txt でそのまま確認できます。

書き方はどのクローラーでも同じ形です。名前を書き、読んでよい範囲を書き、読ませない場所だけを個別に外します。

User-agent: GPTBot
Allow: /
Disallow: /plan-demo/

User-agent: OAI-SearchBot
Allow: /
Disallow: /plan-demo/

User-agent: ClaudeBot
Allow: /
Disallow: /plan-demo/

Sitemap: https://site-more.com/sitemap-index.xml

サイトモの実装では、この形でGPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot、Claude-SearchBot、Google-Extended、Applebot-Extended、Amazonbot、meta-externalagent、cohere-ai、Bytespiderなどを個別に記載しています。除外しているのは、プランごとのサンプルサイトを置いている一部の階層だけです。サンプルの中身が本体の説明として拾われると、かえって内容が混ざるためです。

あわせて、サイトの地図であるサイトマップの場所も同じファイルに書いています。どのページが存在するかを最初に伝えられるので、巡回の手がかりになります。

設定したのに思ったとおりにならない場面

robots.txtを直しても効かないケースがいくつかあります。実務でつまずきやすい順に挙げます。

  • 利用者がその場でURLを渡して読ませたとき。OpenAIはChatGPT-Userについて自動巡回ではないと説明し、Perplexityも利用者の指示で動く読み取りは一般にrobots.txtの指定に従わないと明記しています。つまり、拒否と書いても読まれることがあります。
  • サーバーやセキュリティサービスの側で止めている場合。robots.txtでは許可していても、不正アクセス対策の機能が見慣れない相手をまとめて遮断していることがあります。この場合は設定ファイルを直しても変わりません。
  • 反映までに時間がかかる場合。Perplexityは公式資料の中で、設定変更が行き渡るまで最大24時間程度かかるとしています。直した直後に確認しても判断できません。
  • ファイルの置き場所が違う場合。robots.txtはサイトの最上位、たとえばhttps://example.com/robots.txt に置く必要があります。下の階層に置いても読まれません。

もうひとつ、地味ですが効く注意点があります。AIクローラーは今後も増えます。名前を一つずつ書く方式は意図が明確になる反面、書いていない新しいクローラーが出てきたときに取りこぼします。年に数回、各社の公式ページを見て追記するくらいの運用は前提になります。サイトモでは、社内の見直しのタイミングでこの確認を行っています。

許可設定だけでは足りない理由

robots.txtで許可することは「読んでよい」と伝える作業であり、「わかりやすく伝える」作業ではありません。入口を開けただけで、中身が整うわけではないという言い方が近いかもしれません。

読み取られた先で内容が正しく理解されるかどうかは、ページの書き方に左右されます。サイトモが自社サイトで並行して実装しているのは、次の三つです。

  1. サイトの要約と主要ページの一覧をまとめたllms.txtとllms-full.txtを公開し、サイト全体の位置づけを最初に伝えられるようにしています。
  2. 記事や会社情報、よくある質問、手順の説明に構造化データを付け、どの文章が何を意味しているかを機械が判別できる形にしています。
  3. ページの更新日を、実際の更新作業の記録から自動で反映する仕組みにしています。手作業で書き換える運用では、古い日付が残りやすいためです。

なお、llms.txtの効果については見方が分かれています。サイトモも、これを置けば引用されるという性質のものではないと考えています。設置の手間が小さく、サイトの説明を自分の言葉で一箇所にまとめられる点に価値があるという位置づけです。

まとめ

AIクローラーの許可と拒否は、思想の問題ではなく、自社サイトの文章が売り物かどうかで決まる実務判断です。集客目的の企業サイトなら許可が基本。文章自体が商品なら、学習用だけを断るという中間の選び方ができます。

確認の順番としては、次のように進めるとつまずきにくいはずです。

  1. 自社のrobots.txtをブラウザで開き、AIクローラーについて何も書かれていないか、まとめて拒否されていないかを見る。
  2. 拒否されている場合、それが意図した設定なのか、制作時の初期設定がそのまま残っているだけなのかを制作者に確認する。
  3. 許可する方針にするなら、学習用とAI検索用を分けて書けることを踏まえて、名前ごとに指定する。
  4. 設定後は、本文の書き方や構造化データ、更新日の扱いまで含めて見直す。

特に多いのが二番目です。数年前に作ったサイトで、当時の判断や制作会社の標準設定としてAIクローラーがまとめて拒否されたまま、誰も把握していないという状態は珍しくありません。

よくある質問

robots.txtで拒否すると、Google検索の順位は下がりますか

Google-Extendedを拒否してもGoogle検索の掲載や順位には影響しない、とGoogleが公式に説明しています。ただし、Googleの通常の検索用クローラーまでまとめて拒否してしまうと検索結果に出なくなります。AI向けの指定と検索用の指定は別物として扱ってください。

robots.txtで拒否すれば、AIに使われないと言い切れますか

言い切れません。robots.txtはアクセスを強制的に止める仕組みではなく、各社が方針として従う前提の取り決めです。加えて、利用者の指示でその場でページを読む動きは指定の対象外になる場合があると、OpenAIとPerplexityが公式に説明しています。確実に見せたくない情報は公開領域に置かない判断が必要です。

robots.txtがあるかどうかは、どうやって確認しますか

自社サイトのURLの末尾に/robots.txtを付けてブラウザで開くと確認できます。文字だけのページが表示されればそれが現在の設定内容です。ページが見つからない場合はファイルが未設置で、AIクローラーに対する指定を何もしていない状態です。

llms.txtも一緒に用意したほうがよいですか

目的が違うので、どちらかを選ぶものではありません。robots.txtは読み取ってよい範囲を伝えるファイル、llms.txtはサイトの要約と主要ページを伝えるファイルです。2026年8月時点で、llms.txtを参照していることを公式に明言している生成AIの提供元は限られています。効果を断定できる段階ではないため、まずrobots.txtの整理と本文の見直しを優先することをサイトモは勧めています。

参考情報