AIの答えは聞くたびに変わる？正しく測るための回数と見方の基本

AIの答えが毎回違うため、自社が紹介されているのかどうか判断できないという相談が増えています。昨日は名前が出たのに今日は出ない、という結果に振り回される担当者も少なくありません。結論から言えば、AIの答えは揺れる前提で、回数と割合で見ることが正しい測り方です。1回の結果ではなく、同じ質問を何度か聞いて名前が出た割合を出せば、揺れの中から傾向を読み取れます。

この記事では、答えが変わる仕組みから、聞く回数の目安・順番や言い回しの見方・月ごとの見直し方までを順に整理しました。読み終えるころには、自社の紹介のされ方を数字で判断できるようになります。

1. 同じ質問でも答えが変わる仕組み

同じ質問でも答えが変わるのは、AIが毎回その場で文章を組み立てているためです。生成AIは、あらかじめ用意された答えを返すのではなく、質問に合う言葉を順に選んで文章を作ります。言葉の選び方には幅があるため、同じ質問でも文章の流れや挙げる会社が変わることがあります。さらに、ウェブを検索して答えるAIは、その時点で見つけたページによって材料が変わります。

答えを変える要因は、目安として作り方の幅・参照するページ・質問の条件の3つに分けて考えると整理できます。作り方の幅は、同じ日に続けて聞いても表れます。参照するページは、新しい記事の公開や検索結果の入れ替わりで数日から数週間の単位で変わります。質問の条件には、言い回しの違いや、聞いた人の地域・利用の設定が含まれます。

現場でよく見られるのは、担当者が自分の端末で1回だけ聞いた結果を社内で共有してしまう例です。その1回がたまたま良い結果でも悪い結果でも、判断を誤るもとになります。まずは3つの要因を知ったうえで、同じ条件で何度か聞く測り方に切り替えましょう。

文章を組み立てる仕組みと揺れ

AIが文章を組み立てるときは、次に続く言葉の候補から1つを選ぶ作業をくり返しています。候補の選び方に幅を持たせているため、毎回少しずつ違う文章になります。この幅があるおかげで答えが単調になりませんが、紹介される会社の顔ぶれも揺れる原因になります。候補の上位に安定して入る会社は、何度聞いても名前が出やすくなります。測るときは、この安定して出る度合いを見ることになります。

まずは同じ質問を続けて3回聞き、答えの違いを自分の目で確かめてみましょう。

検索して答えるAIの揺れ

ウェブを検索して答えるAIは、その時点の検索結果やページの内容を材料にしています。新しい記事が公開されたり、比較記事の中身が変わったりすると、答えの材料そのものが入れ替わります。Perplexityのように参照したページを答えと一緒に示すAIでは、どのページが材料になったかを確かめられます。参照元が変わった日を記録しておくと、答えの変化の理由をたどりやすくなります。材料の変化は、自社の情報発信で動かせる部分でもあります。

答えに示された参照元のページを書き留める習慣をつけましょう。

関連記事：自社はChatGPTにどう紹介されているか。AI検索の答えを確かめる手順と見るべき点

2. 1回の結果で一喜一憂してはいけない理由

1回の結果で一喜一憂してはいけないのは、1回の答えには偶然の揺れが大きく含まれるからです。AIの答えは毎回変わるため、たまたま名前が出た1回を成果と考えると判断を誤ります。逆に、たまたま出なかった1回で施策をやめてしまうと、育ちかけていた効果を捨てることになります。測る目的は、揺れを除いた傾向をつかむことです。

たとえば5回聞いて1回名前が出た場合、割合は20%です。翌月に2回出れば40%になり、1回の差で20ポイントも動きます。聞く回数が少ないほど、1回の偶然で数字が大きく動くことが分かります。

よくある失敗は、上司への報告用に良い結果の画面だけを残すことです。都合の良い1回を選ぶと、次の月に同じ結果が出ず、説明に困ります。まずは良い結果も悪い結果もすべて記録する決まりを社内で共有しましょう。

偶然の1回が判断を狂わせる例

偶然の1回が判断を狂わせるのは、施策の効果と揺れを取り違えるときです。記事を公開した翌日に名前が出ると、記事の効果だと考えたくなります。しかし、その答えが作り方の幅による偶然だった場合、翌週には名前が消えることもあります。施策の前後で同じ回数を聞いて比べると、効果と偶然を分けて考えられます。比べる期間は、目安として施策の前後で各2週間ほどあると判断しやすくなります。

次の施策では、前後で同じ回数を聞く計画を先に立ててから始めましょう。

社内で共有するときの伝え方

社内で共有するときは、1回の画面ではなく、割合と回数で伝えます。「10回中4回、名前が出ました」のように書くと、聞き手も揺れを前提に読めます。答えの文章を添える場合は、代表的な1回と、名前が出なかった1回の両方を見せます。数字と文章の両方があると、なぜその割合なのかが伝わります。共有の形を毎月そろえると、前の月との比較もしやすくなります。

次の報告から、割合と回数をセットで書く形に変えてみましょう。

3. 名前が出た割合で見る紹介率の考え方

紹介率とは、同じ質問を聞いた回数のうち、自社の名前が出た回数の割合のことです。AIの答えが毎回違う以上、出たか出ないかの二択ではなく割合で見るほうが実態に近づきます。紹介率は、質問ごとに出すのが基本です。複数の質問をまとめた数字だけを見ると、どの質問で弱いのかが分からなくなります。

計算は、名前が出た回数を聞いた回数で割るだけです。たとえば10回聞いて6回出れば、紹介率は60%になります。目安として、質問は5〜10問、AIごとに分けて紹介率を出すと、強い質問と弱い質問の差が見えてきます。

現場でよくあるのは、名前の表記ゆれを数え漏らす失敗です。社名の略称や英語表記、サービス名で紹介されることもあります。まずは数える対象の表記を一覧にして、数え方をそろえるところから始めましょう。

紹介率を質問ごとに分ける理由

紹介率を質問ごとに分けるのは、質問によって強さが大きく違うからです。「近くでおすすめの〇〇は」のような広い質問と、「〇〇に強い会社は」のような絞った質問では、名前が出る割合がまったく変わります。全体の平均だけを見ると、強い質問が弱い質問を隠してしまいます。割合が低い質問こそ、次の施策を考える材料になります。質問ごとの表を作り、低い順に並べてみると優先順位が見えます。

自社の質問を紹介率の低い順に並べた表を作ってみましょう。

トロパスの計測では2026年10月に計測している26サイト・23社の235問について、質問ごとのAI引用率（6つのAIに同じ質問を聞いて回答に名前が挙がった割合）を見ています。その平均は36.2%ですが、0%の質問が16.2%ある一方で引用率が半分以上の質問も33.2%ありました。質問によって名前の出やすさに大きな差があると考えられます。ただし複数のサイトを合わせた1か月の数字で、市場全体を表すものではありません。

トロパスの計測の全体は[2026年10月の調査](/knowledge/tropus-chosa-vol1/)にまとめています。

競合の紹介率と並べて見る

自社の紹介率は、同じ質問での競合の紹介率と並べると意味が分かります。自社が30%でも、競合が80%なら差は大きいと判断できます。反対に、どの会社も20〜30%なら、その質問ではAIが特定の会社を挙げにくいと考えられます。同じ質問・同じ回数で比べることが前提です。比べる競合は、目安として3〜5社に絞ると読み取りやすくなります。

比べる競合を3〜5社決めて、同じ質問で数えてみましょう。

4. 何回聞けば傾向がつかめるかの目安

傾向をつかむには、目安として1つの質問につき月に5〜10回聞くところから始めます。回数が少ないと1回の偶然で数字が大きく動き、多すぎると手作業では続きません。5回なら1回の差で20ポイント、10回なら10ポイント動きます。どの程度の差を見分けたいかで、必要な回数が決まります。

手作業で行う場合は、質問5問を各5回聞くと1つのAIで25回になります。6つのAIで同じことをすると150回になり、1回に1〜2分かかれば数時間の作業です。そのため、手作業ならAIと質問の数を絞るか、聞く作業を仕組みにするかを最初に決めます。

よくある失敗は、最初の月だけ多く聞き、次の月から回数が減ることです。回数が月ごとに違うと、割合の差が回数の違いによるものか判断できません。まずは毎月続けられる回数を決め、その回数を変えないようにしましょう。

回数を決めるときの考え方

回数を決めるときは、見分けたい差の大きさから逆算します。月ごとに10ポイント程度の変化を追いたいなら、1つの質問で10回以上が目安になります。大まかな傾向だけで十分なら、5回でも強い質問と弱い質問の区別はつきます。回数を増やすほど作業は増えるため、重要な質問だけ回数を多くする方法もあります。決めた回数は、記録の表の見出しに書いておきます。

重要な質問を2〜3問選び、回数を多めに設定してみましょう。

手作業で続けられる範囲

手作業で続けられるのは、月に1〜2時間で終わる範囲が目安です。それを超えると、担当者の業務が忙しい月に計測が止まりがちになります。毎月同じ日に、同じ手順で聞くと、作業の時間も短くなります。記録の表をあらかじめ作っておくと、聞いた結果を書き込むだけで済みます。続かない場合は、AIの数を2〜3つに絞ってから広げます。

まずは1か月分の計測にかかった時間を記録してみましょう。

あわせて読みたい：競合はAIに紹介されて自社は出ない？同じ質問で比べるAI競合分析の進め方

5. 日によって答えが揺れるときの見方

日によって答えが揺れるときは、1日の結果ではなく、期間でまとめた割合で見ます。AIの答えは、同じ週の中でも日によって変わることがあります。1日ごとの数字を追うと、上がった・下がったの判断が毎日変わり、結論が出ません。数日から1か月の単位でまとめると、揺れが平らになり傾向が見えます。

目安として、日ごとの揺れを見るなら1週間の合計、施策の効果を見るなら1か月の合計で比べます。たとえば1日2回を7日間聞けば14回分のデータになり、1週間の紹介率として扱えます。参照するページが変わった日があれば、その日を境に前後を分けて比べます。

よくある失敗は、答えが変わった日に慌てて施策を変えることです。1日の変化は揺れの範囲であることが多く、施策を変えると効果の検証ができなくなります。まずは変化に気づいたら1週間は様子を見る決まりを作りましょう。

揺れの幅を知っておく

揺れの幅を知っておくと、本当の変化と普段の揺れを見分けやすくなります。最初の1か月は施策を変えずに測り、週ごとの紹介率がどの程度動くかを記録します。たとえば週ごとに20〜40%の間で動くなら、その範囲の中の変化は普段の揺れと考えます。範囲を外れた週が出たら、原因を調べる合図です。この幅は、質問ごと・AIごとに違います。

最初の1か月は、施策を変えずに揺れの幅を測る期間にしましょう。

大きく変わった日の確かめ方

大きく変わった日は、参照元・競合・質問の条件の3つを順に確かめます。参照元のページが入れ替わっていれば、そのページの中身を読みます。競合が新しい記事や比較ページを公開していないかも確かめます。AIの仕様の更新が発表されていないかも、各社の公式の発表で確認します。原因の候補を記録しておくと、次に同じことが起きたときに早く判断できます。

大きな変化に気づいた日は、3つの確認の結果を1行で残すようにしましょう。

6. AIごとに変わりやすさが違う理由

AIごとに変わりやすさが違うのは、答えの材料の集め方と文章の作り方がAIごとに異なるためです。検索結果を材料にして答えるAIと、学習した知識を中心に答えるAIでは、揺れ方が変わります。同じ会社でも、あるAIでは安定して名前が出て、別のAIではほとんど出ないこともあります。AIごとの紹介率をまとめずに分けて見ることが基本です。

2026年現在、GoogleのAIモードやAI Overviewsは、Googleの検索をもとに答えを作る仕組みです。Perplexityは参照したページを示しながら答えます。ChatGPTやGeminiやClaudeは、質問の内容によってウェブを検索して答える場合と、学習した知識で答える場合があります。

よくある失敗は、6つのAIの結果を合計した数字だけを見ることです。合計すると、強いAIが弱いAIを隠してしまい、どこに手を打つべきかが分かりません。まずはAIごとの紹介率を横に並べた表を作ってみましょう。

検索をもとに答えるAIの特徴

検索をもとに答えるAIは、検索結果の入れ替わりがそのまま答えに表れるのが特徴です。検索で上位に出るページや、比較記事に載っている会社が答えの材料に選ばれやすい傾向があります。そのため、自社の記事や外部の紹介ページを整えると、比較的早く答えが変わることもあります。一方で、検索結果が動けば答えも揺れやすくなります。週ごとの揺れの幅も、ほかのAIより大きく出ることがあります。

検索をもとに答えるAIでは、参照元のページの変化も合わせて記録しましょう。

知識を中心に答えるAIの特徴

学習した知識を中心に答えるAIは、ウェブ上で長く言及されてきた情報をもとに答えやすい傾向があります。最近の施策がすぐ答えに表れるとは限らず、変化が出るまでに時間がかかることもあります。同じAIでも質問によって検索するかどうかが変わるため、参照元が示された答えかどうかを記録します。短期の変化を追うより、数か月単位の傾向を見るほうが向いています。焦って施策を変えないことが大切です。

答えに参照元が示されたかどうかを、記録の表に1列加えてみましょう。

7. 紹介された順番を平均で比べる方法

紹介された順番は、名前が出た回の順番を平均して比べます。AIが複数の会社を挙げるとき、何番目に紹介されたかは読み手の印象を左右します。1番目に挙がるのと5番目に挙がるのとでは、読み手の記憶への残り方が違います。ただし順番も毎回揺れるため、1回の順番ではなく平均で見ます。

たとえば10回中4回名前が出て、順番が1番・3番・2番・2番なら、平均は2番です。名前が出なかった回は平均に入れず、紹介率と平均の順番を2つ並べて見ます。紹介率が高くても平均の順番が後ろなら、挙げられてはいるものの目立っていない状態と分かります。

よくある失敗は、名前が出なかった回を最下位として平均に入れることです。この数え方では、紹介率と順番の情報が混ざり、何が原因か分からなくなります。まずは紹介率と平均の順番を別の列に分けて記録しましょう。

順番の数え方をそろえる

順番の数え方は、答えの中で会社名が最初に出てきた位置で数えるのが分かりやすい方法です。箇条書きで挙がる場合は、上から何番目かで数えます。文章の中で紹介される場合は、会社名が登場した順に番号を付けます。数え方を記録の表の見出しに書いておくと、担当者が替わっても同じ数え方を続けられます。迷う答えは、メモを残して後で見直します。

記録の表に、順番の数え方を1行で書いておくところから始めましょう。

平均の順番と競合を比べる

平均の順番は、同じ質問での競合の平均と並べると意味が分かります。自社が平均3番目でも、競合がいつも1番目なら、AIは競合を代表として挙げていると読めます。競合の答えで使われている言葉を読むと、なぜ先に挙がるのかの手がかりが得られます。株式会社TROBZのトロパスでは、競合と自社に同じ質問を同じ回数投げ、紹介回数・シェア・回答文での平均順位を比べられます。

比べる競合ごとに、平均の順番を横に並べた表を作ってみましょう。

こちらも読まれています：AIO対策の効果測定はどこを見る？AI引用と検索流入を一緒に追う指標の選び方

8. 答えの文章の言い回しの変化を追うコツ

言い回しの変化を追うコツは、自社を説明するときにAIがくり返し使う言葉を書き出して比べることです。名前が出たかどうかだけでなく、どう説明されたかで読み手の印象は変わります。「料金が分かりやすい」と紹介されるのか、「規模が小さい」と紹介されるのかで、問い合わせにつながるかどうかが違います。答えの文章を保存して読み返せる形にしておくことが前提です。

目安として、毎月の答えの中から自社の説明に使われた言葉を抜き出し、多い順に並べます。前の月と比べて、新しく出てきた言葉と消えた言葉に印を付けます。良い評価の言葉と、誤解や低い評価につながる言葉を分けて記録すると、次の施策を決めやすくなります。

よくある失敗は、名前の有無だけを数えて文章を読まないことです。名前が出ていても、古い情報や誤った説明が続いていることがあります。まずは先月の答えの文章を3つ読み、自社の説明に使われた言葉に線を引いてみましょう。

低い評価の言い回しに気づく

低い評価の言い回しは、何度も同じ言葉が出てくるところに表れます。1回だけの表現は揺れの範囲ですが、毎月くり返される言葉はAIが自社をそう理解している可能性があります。たとえば古い料金や終了したサービスの説明が続く場合は、ウェブ上の古い情報が材料になっていると考えられます。トロパスでは、価格・立地・接客・評判などの観点ごとにAIの評価を数字にし、くり返し使われる評価の低い言い回しも拾えます。

くり返し出てくる気になる言葉を3つ書き出し、原因の情報を探してみましょう。

言い回しを変えるための材料

言い回しを変えるには、AIが参照する情報の中身を変える必要があります。自社のサイトに、強みや最新の情報を事実として文章で書くことが基本です。外部の紹介ページの情報が古い場合は、掲載先に情報の更新を依頼します。変えた後は、同じ質問で答えの言葉が変わったかを月ごとに確かめます。言い回しの変化は紹介率より遅れて表れることもあるため、数か月の単位で見ます。

自社のサイトで、強みが文章で書かれているページを1つ確かめてみましょう。

9. 変動を前提にした月ごとの見直し方

月ごとの見直しは、同じ質問・同じ回数・同じ時期の3つをそろえて前の月と比べるのが基本です。条件が月ごとに違うと、数字の差が答えの変化によるものか判断できません。見直しでは、紹介率・平均の順番・言い回しの3つを並べます。数字だけでなく、その月に行った施策と参照元の変化も一緒に記録します。

目安として、毎月の見直しは1時間ほどの打ち合わせで十分です。前の月から10ポイント以上動いた質問を先に取り上げ、原因の候補を話し合います。動きが小さい質問は、3か月分の推移で傾向を確かめます。

よくある失敗は、1か月の変化だけで施策の成否を決めることです。AIの答えに施策が表れるまでには時間がかかることがあり、1か月で判断すると早すぎる場合があります。まずは3か月を1つの区切りとして、施策の評価を行いましょう。

見直しの記録の形

見直しの記録は、1か月を1枚にまとめる形が続けやすい方法です。上に質問ごとの紹介率と平均の順番を並べ、下にその月の施策と気づいたことを書きます。前の月との差は、増えた・減ったが一目で分かるように印を付けます。同じ形を毎月使うと、半年分を並べたときに傾向が読み取れます。記録は担当者以外も見られる場所に置きます。

まずは1枚の記録の形を作り、今月の数字から書き込んでみましょう。

数字の変動を前提に伝える

社内や取引先に伝えるときは、数字には変動があることを先に伝えておきます。AIの答えにもとづく数字は、月ごとに多少の上下があるのが普通です。前もって伝えておけば、少し下がった月にも落ち着いて説明できます。3か月の推移と施策の記録を一緒に見せると、短期の上下に左右されない判断ができます。伝え方をそろえておくことで、計測を長く続けやすくなります。

次の報告の冒頭に、数字には変動があることを1文で添えてみましょう。

10. 揺れる答えから確かな傾向を読み取るために

揺れる答えから確かな傾向を読み取るには、条件をそろえて回数を重ね、割合と推移で判断することが基本です。AIの答えが毎回違うことは、測り方を工夫すれば問題になりません。1回の結果に振り回されず、紹介率・平均の順番・言い回しの3つを月ごとに追います。続けるほど、自社の強い質問と弱い質問がはっきりしてきます。

目安として、最初の1か月で揺れの幅をつかみ、3か月で施策の効果を判断します。半年続けると、季節や競合の動きによる変化も見えてきます。測る作業が負担になる場合は、聞く作業と記録を仕組みにすることも考えます。

よくある失敗は、手作業の計測が3か月ほどで止まってしまうことです。続けられる仕組みを最初に決めておけば、傾向が見え始めるところまで計測を続けられます。株式会社TROBZのトロパスは、6つのAIに同じ質問を何度か聞き、答えの文章を保存して名前が出た割合で見られる分析ツールです。

測る仕組みを社内に残す

測る仕組みを社内に残すには、質問の一覧・回数・記録の形を文書にしておきます。担当者が替わっても同じ条件で測れるようにするためです。質問を変えるときは理由を記録し、変える前と後の数字を混ぜないようにします。年に1回は質問の一覧を見直し、自社のサービスに合っているかを確かめます。仕組みが文書になっていれば、新しい担当者でもすぐに引き継げます。

まずは質問の一覧と回数を1枚の文書にまとめてみましょう。

結果を次の施策につなげる

測った結果は、次に何をするかを決める材料として使ってこそ意味があります。紹介率の低い質問は、答えの材料になるページが自社のサイトにあるかを確かめます。低い評価の言い回しが続く場合は、元になった情報を探して直します。施策を1つ決めたら、同じ条件で3か月測る流れをくり返します。測ることと直すことを交互に続けると、答えの傾向が少しずつ変わっていきます。

今月の結果から、次に直す質問を1つ選んでみましょう。

回数と割合で見れば揺れる答えも判断できる

AIの答えは、文章の作り方の幅や参照するページの変化によって、聞くたびに変わります。1回の結果で判断せず、同じ質問を決まった回数聞き、名前が出た割合で見ることが正しい測り方です。紹介率・平均の順番・言い回しの3つを、条件をそろえて月ごとに比べます。揺れの幅を最初の1か月でつかみ、施策の効果は3か月の区切りで判断します。

AIの答えが毎回違うことに関するよくある質問