KNOWLEDGE HUB
ナレッジハブ
2026/11/15
AIのクローラーはどのページを読んでいる?巡回の回数から分かるサイトの読まれ方

AIのクローラーがサイトを訪れる目的と種類
読まれた回数を記録して見るときの手順
読まれないページに共通する作りの問題
AIに読まれた回数を調べたいものの、どのページがAIのクローラーに読まれているのか分からないという声をよく聞きます。結論から言えば、サーバーの記録から巡回の訪問を数えると、サイトのどこが読まれ、どこが素通りされているかが見えてきます。読まれていないページは答えの材料になりにくく、紹介の機会を逃しやすくなります。
この記事では、巡回の目的と検索エンジンとの違いから、更新後に回数を確かめる手順までを、各社の公式の説明で確かめられる範囲で整理しました。読み終えるころには、どのページから読まれる道筋を整えるべきかまで判断できるようになります。
1. AIのクローラーがサイトを訪れる目的
AIのクローラーがサイトを訪れる目的は、学習・検索・利用者の依頼による閲覧の3つに大きく分かれます。AIの会社は、目的ごとに巡回ロボットの名前を分けて公開しています。たとえばOpenAIは、学習用のGPTBot、ChatGPTの検索用のOAI-SearchBot、利用者の操作で開くChatGPT-Userを分けています。目的が違えば、訪れる頻度や読むページも変わります。
ほかにも、AnthropicはClaudeBot、PerplexityはPerplexityBotという名前の巡回ロボットを公開しています。Googleでは通常の検索と同じGooglebotが巡回し、Google-Extendedという名前でGeminiなどの改善に使われるかどうかを調整できます。目安として、まずは5〜6種類の名前を手元の一覧に控えておくと、記録を見るときに迷いません。
現場でよく見られるのは、すべてのAIのクローラーを同じものとして扱う例です。学習用を止めたつもりで検索用まで止めてしまうと、答えの中で紹介される機会を自分で減らすことになりかねません。まずは自社のサイトに来ている巡回ロボットの名前を書き出し、目的ごとに分けて整理しましょう。
目的ごとの名前を見分ける
巡回ロボットの目的は、アクセスの記録に残る名前から見分けます。記録の中の「ユーザーエージェント」という欄に、GPTBotやClaudeBotなどの名前が書かれています。名前に「Search」や「User」が入るものは、検索や利用者の依頼に関わることが多いです。AIの会社の公式の説明ページには、名前ごとの目的が書かれています。名前と目的を対応させた表を作ると、記録を読む時間が短くなります。
まずは公式の説明ページを開き、名前と目的の対応表を作りましょう。
名前をかたる巡回にも注意する
アクセスの記録に残る名前は、ほかのプログラムが名乗ることもできます。そのため、名前だけで本物のAIのクローラーと決めるのは早すぎます。OpenAIなどは、巡回元のIPアドレスの範囲を公式に公開しています。記録のIPアドレスと公開された範囲を照らし合わせると、本物かどうかを確かめられます。数が急に増えた日は、とくに照合が欠かせません。
回数を数える前に、照合の手順を一度決めておきましょう。
関連記事:AIはどのサイトを読んで答えている?AI引用元の調べ方と次に載るべき先の決め方
2. 検索エンジンの巡回との違い

検索エンジンの巡回との一番の違いは、読んだ結果が答えの文章の材料として使われる点です。検索エンジンは、ページを集めて順位を付け、利用者にリンクの一覧を見せます。AIのクローラーが集めた文章は、要約や紹介の文の材料になります。そのため、ページの中のどの文が使われるかが、検索以上に問われます。
巡回の仕方にも違いがあります。検索エンジンのクローラーはサイト全体を定期的に回り、サイトマップも手がかりにします。AIのクローラーの中には、利用者の質問に合わせてその場でページを開くものもあります。同じページでも、検索エンジンとAIでは訪問の間隔が大きく違うことがあります。
よくある失敗は、検索エンジン向けの設定だけを見て、AIのクローラーへの設定を確かめていない例です。robots.txtで検索エンジンは許可していても、AIの巡回ロボットの名前を個別に止めていることがあります。まずはrobots.txtを開き、AIの巡回ロボットの名前が書かれていないかを確かめましょう。
| 比べる点 | 検索エンジンの巡回 | AIのクローラー |
|---|---|---|
| 読んだ結果の使い道 | 検索結果の一覧と順位 | 答えの文章の材料 |
| 巡回の手がかり | サイトマップとリンク | リンク・検索・利用者の依頼 |
| 設定の確かめ先 | robots.txtとSearch Console | robots.txtとアクセスの記録 |
答えに使われる文の形
AIの答えに使われやすいのは、問いと答えがひとまとまりになった文です。見出しで問いを示し、すぐ下の1〜2文で結論を書くと、AIが抜き出しやすくなります。会社名・地域・サービス名がそろった文は、紹介の文の材料になりやすいです。逆に、画像の中の文字や長い前置きは、材料として使われにくくなります。読まれた回数が多いのに紹介されない場合は、文の形を見直す余地があります。
よく読まれるページから、見出しのすぐ下の文を書き直してみましょう。
検索の評価とAIの読まれ方は別に見る
検索で上位のページが、AIにもよく読まれているとは限りません。検索の評価は、Search Consoleの表示回数や順位で確かめます。AIの読まれ方は、アクセスの記録に残る巡回の訪問で確かめます。2つの数字を同じ表に並べると、検索では強いのにAIには読まれていないページが見えてきます。並べる単位は、ページごとにすると分かりやすいです。
まずはよく見られている上位10ページについて、2つの数字を並べてみましょう。
3. 読まれた回数を記録して見る意味
読まれた回数を記録して見る意味は、自社のページが答えの材料に入っているかを、答えより手前の段階で確かめられる点にあります。AIの答えは聞くたびに変わるため、答えだけを見ていると原因が分かりにくくなります。読まれた回数を見れば、そもそもページが読まれているかどうかが分かります。読まれていなければ、答えに出ないのは当然と判断できます。
記録に使うのは、サーバーのアクセスログです。アクセスログには、訪問の日時・開かれたページ・ユーザーエージェント・応答の結果が残ります。目安として、1か月分の記録を週ごとに区切って数えると、増減の傾向がつかみやすくなります。
よくある失敗は、アクセス解析の画面だけを見て、AIのクローラーの訪問がないと思い込む例です。GA4のような解析はブラウザで動く仕組みで数えるため、巡回ロボットの訪問はほとんど数えられません。まずはサーバーの管理画面から、アクセスログを取り出せるかを確かめましょう。
数える単位を決める
回数は、巡回ロボットの名前ごと・ページごとに数えます。名前ごとに分けると、学習用と検索用で読まれ方が違うことが分かります。ページごとに分けると、読まれているページと素通りされているページが分かれます。同じ日に同じページを何度も読むこともあるため、日ごとの訪問数と延べの回数を分けておくと便利です。数える単位を最初に決めると、月ごとの比べ方がぶれません。
まずは名前とページの2つの軸で、1か月分を数えてみましょう。表計算のソフトで集計すると、名前ごとの合計もすぐに出せます。
応答の結果も合わせて見る
回数と合わせて見たいのが、応答の結果を示す番号です。200は正しく読めたこと、404はページが見つからなかったこと、403は読むのを断ったことを表します。403が多い場合は、セキュリティの設定で止めているおそれがあります。404が多い場合は、古いURLへのリンクが残っていることがあります。回数が多くても、読めていなければ材料にはなりません。
403と404の件数を、名前ごとに書き出しましょう。件数が多い名前から、原因を順に確かめていきます。
4. よく読まれるページと読まれないページの差
よく読まれるページと読まれないページの差は、リンクの多さと中身の具体さに出やすい傾向があります。巡回ロボットは、リンクをたどってページを見つけます。トップページやメニューからたどれるページは、訪問の機会が多くなります。会社概要やサービスの紹介ページは、どの巡回ロボットにも読まれやすい傾向があります。
目安として、トップページから3回のクリック以内でたどれるかどうかを確かめます。深い階層にあるページや、どこからもリンクされていないページは、読まれる回数が少なくなりがちです。サイトマップに載せているかどうかも、あわせて確かめます。
現場でよく見られるのは、力を入れて書いた記事ほど、分類の奥に埋もれている例です。せっかくの具体的な内容も、たどる道がなければ材料になりません。まずは読まれた回数の少ないページを並べ、どこからリンクされているかを確かめましょう。
読まれるページの共通点
よく読まれるページには、見出しと本文の対応がはっきりしているという共通点があります。1つのページで1つの問いに答えていると、何のページかがAIに伝わりやすくなります。料金や対応地域など、問い合わせ前に知りたい事実が書かれたページも読まれやすいです。更新の日付が新しいページは、検索用のクローラーが読み直す対象になりやすいです。こうした共通点を、読まれないページに移していきます。
よく読まれる上位3ページの見出しを書き出し、ほかのページと比べましょう。
読まれないページを見つける
読まれないページは、サイトの全ページの一覧と記録を突き合わせると見つかります。サイトマップに載っているURLを一覧にし、記録に一度も出てこないURLに印を付けます。1か月に一度も読まれていないページは、たどる道か中身に問題がある可能性があります。印を付けたページは、リンクの数と階層の深さを確かめます。数が多い場合は、問い合わせにつながるページから手を付けます。
まずはサイトマップのURLの一覧を作り、記録と照らし合わせましょう。
あわせて読みたい:自社はChatGPTにどう紹介されているか。AI検索の答えを確かめる手順と見るべき点
5. 新しいページが読まれるまでの期間

新しいページが読まれるまでの期間は、数日から数週間が目安で、サイトの更新の頻度やリンクの張り方で変わります。AIの会社が決まった日数を示しているわけではないため、自社の記録で傾向をつかむことになります。よく更新されるサイトは、巡回ロボットが訪れる間隔が短くなりやすいです。新しいページへのリンクがトップページにあれば、見つけてもらうまでの時間も短くなりやすいです。
目安として、公開した日を0日目とし、7日目・14日目・30日目に記録を確かめます。どの巡回ロボットが、何日目に初めて訪れたかを書き残します。3回分の記録をそろえると、自社のサイトで読まれるまでの期間が見えてきます。
よくある失敗は、公開した翌日にAIに質問して、答えに出ないと落ち込む例です。読まれる前の段階では、答えに出ないのが普通です。まずは新しいページの公開日を記録の表に書き込み、初めて読まれた日を待ちましょう。
新しいページを見つけてもらう3つの手立て
読まれるまでを早める準備
新しいページを早く読んでもらうには、公開と同時に見つけてもらう道を用意します。サイトマップに自動で載る設定にし、トップページのお知らせにもリンクを置きます。既存の関連ページからのリンクを足すと、たどる道が増えます。Search Consoleでの登録の依頼は検索エンジン向けの手段ですが、Googleの巡回を促すことにつながります。公開の手順に組み込んでおくと、毎回の漏れを防げます。
公開の手順の表に、リンクとサイトマップの確認を足しましょう。
読まれた後の変化を待つ期間
ページが読まれても、すぐに答えに反映されるとは限りません。検索して答えるAIでは、読まれた後の数週間で答えに出始めることがあります。学習した知識から答えるAIでは、次の学習に使われるまで反映されないため、さらに時間がかかります。読まれた日と答えに出た日を両方記録すると、反映までの間隔が分かります。間隔を知ると、施策の効果を待つ期間を決めやすくなります。
まずは記録の表に、2つの日付の欄を足しましょう。
6. 読まれた回数と紹介のされ方の関係
読まれた回数と紹介のされ方は、読まれることが紹介の前提になるという関係です。ただし、回数が多いほど紹介されるとは限りません。AIは読んだページの中から、質問に合う文を選んで答えを作ります。質問に合う文がなければ、何度読まれても紹介にはつながりません。
関係を確かめるには、読まれた回数と答えの記録を同じ表に並べます。答えの記録とは、業種や地域に合わせた質問をAIに投げ、返ってきた文章を保存したものです。目安として、同じ質問を月に数回聞いて、会社の名前が出た割合を見ます。
よくある失敗は、読まれた回数だけを増やそうとして、中身の具体さを見直さない例です。読まれた回数が多いことは、材料に入っている印にすぎません。まずは読まれているのに紹介されないページを選び、質問に合う文があるかを確かめましょう。
関係を表で確かめる
関係を確かめる表には、ページ・読まれた回数・答えに出た割合の3つの列を作ります。答えに出た割合は、同じ質問を何度か聞き、名前が出た回数を数えて出します。株式会社TROBZのトロパスでは、6つのAIに質問を投げて回答文をそのまま保存し、名前が出た割合で見られます。機能の一覧の「検索・サイト」の区分には、「AIに読まれた回数」もあります。表がそろうと、読まれ方と紹介のされ方を並べて判断できます。
まずは3つの列の表を作り、主なページから埋めていきましょう。最初は問い合わせにつながる5ページほどに絞ると、続けやすくなります。
読まれているのに紹介されない場合
読まれているのに紹介されないページは、質問に合う答えの文が足りていないことが多いです。たとえば料金を聞かれる質問に対して、ページに料金の目安が書かれていなければ、別の会社の情報が選ばれます。よく聞かれる質問を見出しにして、すぐ下で答える形に直します。会社名と地域とサービス名を1つの文の中にそろえることも効きます。直した後は、次の巡回の後に答えを確かめます。
紹介されないページの見出しを、質問の形に直してみましょう。直した日を記録しておくと、次の巡回の後に変化を比べられます。
7. 読まれないページに共通する作りの問題
読まれないページに共通する作りの問題は、止める設定と読み取れない作りの2つに分けられます。robots.txtやセキュリティの設定で止めていると、ページがあっても読まれません。また、JavaScriptを動かさないと本文が表示されないページは、巡回ロボットによっては中身を読み取れないことがあります。ログインが必要なページや、画像だけで説明したページも、材料になりにくくなります。
確かめる手順は3つです。1つ目に、robots.txtでAIの巡回ロボットの名前が止められていないかを見ます。2つ目に、サーバーやセキュリティの設定で巡回ロボットを断っていないかを見ます。3つ目に、ページの文章が画像ではなく文字で書かれているかを見ます。
現場でよく見られるのは、セキュリティを強める設定を入れたときに、AIの巡回ロボットまで一緒に止めてしまう例です。止めたことに気づかないまま、数か月たつこともあります。まずは記録の中の403の件数を見て、止めている巡回ロボットがないかを確かめましょう。
| 作りの問題 | 起きること | 確かめる場所 |
|---|---|---|
| robots.txtで止めている | 訪れても中身を読みません | robots.txtのファイル |
| セキュリティで断っている | 記録に403が残ります | サーバーの設定と記録 |
| 本文が画像やJavaScript頼み | 中身を読み取れないことがあります | ページのHTML |
| ログインが必要 | 中身を読めません | ページの公開範囲 |
AIの巡回ロボットへの設定を点検する
AIの巡回ロボットへの設定は、robots.txtの中身を開くと確かめられます。ファイルの中に「GPTBot」や「ClaudeBot」などの名前と「Disallow」の行があれば、その巡回ロボットを止めています。学習用だけを止め、検索用は許可するという分け方もできます。どの名前を止めるかは、答えでの紹介を望むかどうかで決めます。株式会社TROBZのトロパスには、AIの巡回ロボットへの設定などを100点満点で点検する「AIサイト監査」があります。
まずはrobots.txtを開いて、AIの巡回ロボットの名前を探しましょう。
中身を読み取れる作りに直す
中身を読み取れる作りにするには、大事な説明を文字で書くことが基本です。料金表や地図を画像だけで載せている場合は、同じ内容を本文の文字でも書きます。JavaScriptで後から表示する本文は、ページを開いた時点のHTMLに文章が入っているかを確かめます。ブラウザの「ページのソースを表示」で本文の文字が見えれば、読み取れる状態です。直す順番は、問い合わせにつながるページを先にします。
まずは主なページのソースを開き、本文の文字が入っているかを見てみましょう。
こちらも読まれています:AI Overviewsに引用されるサイトの条件とは?検索結果の上に出る答えへの備え方
8. サイトの更新後に回数を確かめる手順

サイトの更新後に回数を確かめる手順は、更新の前後で同じ期間の記録を比べることが基本です。更新した日を記録しておかないと、回数の変化が更新によるものか分からなくなります。比べる期間をそろえないと、曜日や月の違いで数字がぶれます。更新したページと更新していないページを並べて見ると、変化の理由を絞り込めます。
手順は4つです。1つ目に、更新の日とページを記録します。2つ目に、更新前の2週間の回数を数えます。3つ目に、更新後の2週間の回数を同じ数え方で数えます。4つ目に、名前ごと・ページごとに差を書き出します。
よくある失敗は、更新した翌日の記録だけを見て、効果がなかったと判断する例です。巡回ロボットが訪れる間隔によっては、更新後に一度も読まれていないこともあります。まずは2週間の待ち期間を決めてから比べましょう。
比べるときにそろえる条件
更新の前後を比べるときは、期間の長さと数え方をそろえます。前が2週間なら、後も2週間で比べます。同じページを1日に何度も読んだ回数をどう数えるかも、前後で同じにします。サイトの移転やサーバーの障害があった週は記録が普段と違うため、比べる期間から外します。条件をそろえると、更新の効果を落ち着いて判断できます。
比べる前に、そろえる条件を表の上に書いておきましょう。条件を書いておくと、担当が替わっても同じ比べ方を続けられます。
確かめた結果を次の更新に生かす
回数を確かめた結果は、次にどのページを直すかを決める材料にします。更新後に回数が増えたページは、リンクや中身の直し方が効いたと考えられます。回数が変わらないページは、たどる道が足りていないか、止める設定が残っている可能性があります。結果を1行ずつ記録すると、効いた直し方がたまっていきます。たまった記録は、次の更新の手順書になります。
確かめた結果を、1か月ごとに見返す日を決めましょう。見返す日には、効いた直し方をほかのページにも広げられないかを考えます。
9. 回数の多さだけで判断しない理由
回数の多さだけで判断しないのは、紹介につながらない訪問も混ざるためです。学習用の巡回ロボットの訪問は、すぐに答えでの紹介につながるとは限りません。名前をかたるプログラムの訪問が混ざると、回数は実際より多く見えます。同じページを短い間に何度も読む動きもあり、回数だけでは中身が分かりません。
判断には、回数・読んだページ・答えに出た割合の3つをそろえます。目安として、月に1回、3つの数字を同じ表で見比べます。答えに出た割合が上がっているかを、最後の判断の基準にします。
よくある失敗は、回数が増えたことを成果の報告として扱い、答えの中身を見ていない例です。読まれても誤った説明が出ていれば、紹介の質は下がります。まずは答えの文章を読み返す時間を、回数の確認と同じ日に取りましょう。
回数と答えの中身を合わせて見る
回数と答えの中身は、同じ月の記録で合わせて見ます。回数が増えた月に、答えで名前が出る割合が上がったかを確かめます。答えの説明が正しいかどうかも、文章を読んで確かめます。誤った説明が出ている場合は、読まれたページの中に古い情報が残っていないかを見ます。数字と文章の両方を見ると、判断を誤りにくくなります。
次の月から、答えの文章の確認を記録の表に足しましょう。気になった言い回しは、答えの文章ごと保存しておくと見返しやすくなります。
回数が減ったときの見方
回数が減ったときも、すぐに悪い変化とは限りません。AIの会社が巡回の仕方を変えると、回数が全体として減ることがあります。自社の設定を変えていないかを最初に確かめます。403や404の件数が増えていれば、自社の側に原因があります。件数が増えていなければ、しばらく様子を見て、答えに出た割合を合わせて確かめます。
回数が減った月は、設定の変更の記録と見比べましょう。サーバーやセキュリティの担当が別にいる場合は、その月に変えた設定を聞いておきます。
10. AIに読まれる道筋を整えて紹介につなげるために
AIに読まれる道筋を整えて紹介につなげるには、止めない・たどれる・読み取れるの3つを順にそろえることが近道です。止めないとは、望む巡回ロボットを設定で断らないことです。たどれるとは、リンクとサイトマップで新しいページまで行ける状態のことです。読み取れるとは、大事な説明が文字で書かれ、質問に合う文がある状態のことです。
2026年現在、AIのクローラーの名前と目的は、各社の公式の説明で見直されることがあります。目安として、3か月に1回は公式の説明ページを見直し、名前の一覧を新しくします。月に1回の回数の確認と組み合わせると、読まれ方の変化に気づきやすくなります。
よくある失敗は、一度設定を整えたまま、何年も見直さない例です。サイトの作り替えやセキュリティの導入で、知らないうちに道筋が途切れることがあります。まずは3つの観点を点検の表にし、来月の確認日を決めましょう。
読まれる道筋を保つ3つの点検
点検を習慣にする
点検を習慣にするには、確認日と担当を先に決めます。月に1回、アクセスログから名前ごと・ページごとの回数を数えます。3か月に1回はrobots.txtと公式の説明ページも見直します。点検の結果は同じ表に1行ずつ残し、変化を追えるようにします。担当が替わっても、表があれば同じ手順で続けられます。
まずは来月の確認日を予定表に入れましょう。確認にかかる時間も一緒に書いておくと、ほかの業務と重なりにくくなります。
読まれ方から次の施策を選ぶ
読まれ方の記録は、次の施策を選ぶ材料になります。読まれていないページが多ければ、リンクとサイトマップの整理を先にします。読まれているのに紹介されないページが多ければ、見出しと答えの文を直します。答えの説明に誤りがある場合は、古い情報の整理を優先します。記録をもとに選ぶと、限られた時間を効く施策に回せます。
記録の表を見て、来月に手を付ける1つの施策を決めましょう。1か月に1つずつ進めると、どの施策が効いたかを記録から見分けやすくなります。
止めない・たどれる・読み取れるの3つで読まれ方を整える
AIのクローラーは、学習・検索・利用者の依頼による閲覧という目的ごとに名前が分かれています。サーバーのアクセスログから名前ごと・ページごとの回数を数えると、どのページが読まれ、どこが素通りされているかが分かります。読まれることは紹介の前提ですが、回数だけでは判断できません。答えに出た割合と答えの文章を合わせて見て、設定・リンク・文の形を順に直していきます。
AIに読まれた回数に関するよくある質問
AIのクローラーの訪問はGA4で数えられますか
A. ほとんど数えられません。
GA4はブラウザで動く仕組みで数えるため、巡回ロボットの訪問はサーバーのアクセスログで確かめます。
AIのクローラーを止めると検索の順位は下がりますか
A. 学習用の巡回ロボットを止めることと、Google検索の順位は別の仕組みです。
ただし、AIの検索用の巡回ロボットまで止めると、答えで紹介される機会が減るおそれがあります。
新しいページはどのくらいで読まれますか
A. 数日から数週間が目安です。
サイトの更新の頻度やリンクの張り方で変わるため、公開日から7日目・14日目・30日目に記録を確かめます。
読まれた回数が多いのに紹介されないのはなぜですか
A. ページに質問に合う答えの文が足りていないことが多いです。
よく聞かれる質問を見出しにし、すぐ下で結論を書く形に直すと、答えの材料として使われやすくなります。
ABOUT THE AUTHORこの記事の執筆者
畔栁 洋志KUROYANAGI YOJI
株式会社TROBZ 代表取締役
保有資格SEO検定1級(全日本SEO協会)
2024年に株式会社TROBZを創業。AI検索・SEO・MEOの対策サービスと、AI分析ツール「トロパス」を自社で開発・提供している。Mission:AI時代の見つかる仕組みを設計する
- 2024年TROBZを創業
- 6種類トロパス計測AI数
- 13件導入事例を掲載
- 95%以上サービス継続率
COMPANY運営会社
- 会社名
- 株式会社TROBZ(トロブズ)
- 設立
- 2024年11月12日
- 所在地
- 愛知県名古屋市中村区名駅3-4-10 アルティメイト名駅1st 2階
- 事業内容
- 生成AI検索最適化・SEO対策・MEO対策・Webサイト制作 ほか
- 法人番号
- 3180001164195



