AIファクトチェックは一次情報と照合、裏付け可能な統計は4割

一次情報で裏付け可能なAIの統計は4割

AI検索での表示を計測するサービスのTrakkrは、2026年10月28日に分析「Zombie stats」を公開しました。分析の対象にしたAIは、次の5つです。

• ChatGPT
• Perplexity
• Gemini
• Claude
• GoogleのAIによる概要（Google検索で、検索結果より上にAIの要約が表示される機能）

5つのAIが出した統計を、出典ページから順に参照していった分析です。5つのAIが出典つきで出した統計を最大5ページ先まで参照すると、同じことを述べる一次情報で裏付け可能だったのは40%で、残りの多くは出典を開いても数字の根拠を調べられませんでした。 チェックできなかった統計と、研究がどこにも無かった統計を合わせると、半数を超えます。

5つのAIが出した統計1,285件を一次情報と照合した分析

Trakkrは2026年10月25日、5つのAIに、数値で回答するプロンプト200本を同じ文面で入力しました。内訳は、日常の疑問160本（16分野）と、よく知られた統計40本です。各社のAPI経由でウェブ検索をオンにし、所在地は米国に設定しています。

回答1,000件に含まれる統計は3,167件で、そのうち出典つきは2,419件でした。出典つきの統計から無作為に抜いた1,285件を、出典ページ、そのページの出典と順に最大5ページ先まで参照し、同じことを述べる研究があるかを判定しています。

判定はまずAIモデルが行い、より強いモデルが300件を判定し直しました。さらに人が無作為の150件を調べ直すと、AIが見落とした一次情報が見つかっています。AIの判定だけでは裏付けありは23%で、人の結果で補正した値が40%です。なお、回答はAPI経由で得たもので各プロンプトの入力も1回だけなので、ユーザーが普段使うアプリでは回答が変わることもあります。

統計の1割強は一次情報がどこにも見つからない

1,285件を、参照を続けた先がどうなったかで分けると、下図のとおりです。行き先は5つあり、そのうち裏付け可能と判定された行き先は1つしかありません。

AIが出した統計1,285件の行き先

裏付け可能な40%と同じ大きさで、出典を開いてもチェックできない統計が40%あります。研究がどこにも無い統計も1割を超えました。

%010203040

40%裏付け可能

8%数字か条件が変化

40%チェックできない

11%研究が無い

1%読み込めない

11%はどのページも数字を繰り返すだけで研究がどこにも無く、40%は出典名があっても数字が掲載されていないか有料や削除で調べられませんでした。 8%は一次情報が見つかったものの、数字や回答者・時期が途中で変わっていました。残りの1%はページが読み込めなかった統計です。

Trakkrは、一次情報が確認できないまま転載が続く数字を「ゾンビ統計」と呼んでいます。ゾンビ統計は裏付けのある数字と同じ形式で、同じように出典つきで回答に出てくるので、回答だけを読んでも区別はできません。

裏付け率はChatGPTが57%、他の4つは38%から46%

AIごとの裏付け率は下図のとおりです。ChatGPTと2番目に高いPerplexityとの間には、10ポイント以上の開きがあります。

AI別の統計裏付け率

ChatGPTだけが5割を超えています。Perplexity以下の4つは誤差の範囲が重なっていて、この差で優劣は判断できません。

%02040

57%ChatGPT

46%Perplexity

39%AIによる概要

38%Gemini

38%Claude

ChatGPTは1回答あたりの統計が1.3件と最も少なく、残る4つは2.2件から6.8件の範囲に収まります。 1回答あたりの統計はClaudeが6.8件で最も多く、次に多いGeminiは6.2件でした。AIによる概要は4.8件、Perplexityは2.2件です。

用意したプロンプトに偏りが無いかを確認する目的で、Trakkrは実際の英語検索5万2,930件へのAIによる概要の回答も参照しています。統計を含む回答は全体の4.4%で、その4.4%から300件を参照した結果も、裏付け可能は40%とほぼ同じでした。

裏付けが無い統計の多くはAIの作り話ではなく他ページの転載

AIが最初に出典にしたページの種類と、一次情報を確認できた割合

出典全体に占める割合

AIが最初に出典にしたページの半数超は企業ブログで、政府や公的機関のページは1割に届きません。

54%企業ブログ

13%調査会社

10%ニュース

8%統計まとめ

8%その他

7%政府や公的機関

02040%

そこから裏付け可能だった割合

数の少ない調査会社と政府のページは6割を超え、半数超を占める企業ブログは4割に届きません。AIが出典に多く使うページの種類ほど裏付けがある、とは言えない結果です。

37%企業ブログ

62%調査会社

37%ニュース

35%統計まとめ

41%その他

61%政府や公的機関

0204060%

ハルシネーション（AIが事実と異なる内容をもっともらしく出力すること）と聞くと、AIがありもしない数字を出力する様子を想像する人が多いはずです。AIが架空の数字を作る例は少なく、問題は数字を繰り返すだけのページを出典にすることにあります。 裏付けが無い統計の多くは、AIが読んだページの時点ですでに根拠の無い数字でした。

AIが出典にしたページの82%には同じ数字が掲載されている

AIが出典にしたページを開くと、82%のケースで、回答と同じ数字がそのページで使われていました。AIが読んだページから数字を転載するところまでは、ほぼ正確です。

AIが引いたページそのものは数字を掲載していても、そのページが一次情報だったのは21%にとどまります。 残りのページは、他の記事や資料の数字を転載したページで、引用元へのリンクが無いことも少なくありません。Trakkrは、出典はAIが数字を取得した場所であって、数字が生まれた場所ではないとまとめています。

出典の半数超は企業ブログ

AIが最初に出典にしたページを種類で分けると、企業ブログが54%で最も多く、ニュースの10%と統計まとめの8%が続きます。どれも、ほかで出た数字を紹介する側のページです。

企業ブログから一次情報を確認できたのは37%で、統計まとめは35%と、転載だけのページほど行き止まりが多くなります。 ニュースも37%にとどまりました。この3種類のページは引用元へのリンクを付けずに数字だけを紹介することが多く、そこで参照が止まります。

政府や調査会社のページなら6割は一次情報で裏付け可能

出典が政府や公的機関のページだった統計は61%、調査会社のページだった統計は62%が、一次情報で裏付け可能でした。このことから、出典が政府や調査会社のページかどうかが、最初に見分けるポイントになります。

ただし、調査会社が出典でも38%は一次情報を確認できていません。報告書の全文が登録の必要なページにあり、そこで参照が止まる例が多かったとのこと。

一次情報が見つかっても数字や条件が異なる統計もある

一次情報から途中で変わった要素の内訳

数字そのものが変わったのは4件に1件ほどです。残りは数字がそのままで、誰に・いつ・どこで聞いたかといった条件が変わっています。

%01020

26%数字

20%調査対象

17%年

16%出典

14%回答者

4%場所

一次情報が見つかった統計でも、そのまま引用可能とは限りません。研究の原典が見つかった統計でも17%は途中で中身が変わっており、変わったのは数字より条件のほうが多くなっています。 数字だけを見比べる方法では、条件の変化は見落とします。

一次情報と異なる統計の26%は数字そのものの変化

変わった要素を種類で分けると、数字そのものが変わったのは26%でした。つまり、残りの変化は調査対象・年・出典・回答者・場所で、数字が同じでも意味が異なる統計になります。

「一次情報から途中で変わった要素の内訳」のとおり、数字の次に多いのは調査対象と年が変わったケースです。たとえば、ある国だけで聞いたアンケートの数字が、世界全体の数字として紹介されるような変化も、調査対象の変化に含まれます。

女性15人の発言が「第一印象の94%はデザイン」になった例

Trakkrが人の手で参照し直した例の1つが、ウェブサイトの第一印象とデザインに関する統計です。元はSillenceらが2004年に、コンピューターと人の関わりに関する国際学会CHIで発表した論文でした。

2004年の研究で英国の女性15人が健康サイトを避けた理由を話した発言の94%がデザインについてだった結果が、AIによる概要ではウェブサイト全般の事実として回答されました。 企業が2018年に出したプレスリリースと、ビジネス誌が2024年に掲載したコラムで繰り返されるうちに、「ウェブサイトに対する第一印象の約94%はデザインに関係する」という文に変わります。

数字の94%は変わらないまま、15人が健康サイトについて話した理由の割合が、すべての人とすべてのサイトに関する話に置き換わっています。AIによる概要は言い換えが重なった最後の文を、事実として回答に使いました。

複数のAIで数字が一致しても裏付けにならない

「マーケティング自動化ツールを使うマーケターの割合」へのAIごとの回答

同日に同じ文面で入力しても、最低の49%と最高の96%で2倍近い差があります。どのAIの数字を選ぶかで、資料の結論自体が変わる幅です。幅のある回答は、Trakkrと同じく中央の値で描いています。

%0255075

50%AIによる概要

62%ChatGPT

74.5%Gemini

81%Perplexity

96%Claude

AIの回答をチェックする方法として、別のAIに同じプロンプトを入力して比較するやり方があります。手間が少なく、すぐに試すことができます。5つのAIが同じ数字を出した10本のうち、Trakkrが検証した5本で裏付け可能だったのは2本だけでした。 3つ以上のAIが出した統計29件でも、裏付け可能は11件にとどまります。

マーケティング自動化の利用率はAIごとに49%から96%

Trakkrが2026年10月25日、「マーケティング自動化ツールを使うマーケターの割合」を同じ文面で5つのAIに入力すると、回答は上図のとおり49%から96%まで幅があります。最も低いのはAIによる概要で、最も高いのはClaudeでした。

5つのAIすべてが割合で回答した71本のうち31本で、最高と最低が20ポイント以上離れました。 28本では4通りから5通りの数字が出ており、最高と最低の差は典型的なもので16ポイントです。AIごとに数字が異なるのは珍しいことではありません。

5つのAIが出した「営業の44%は1回で諦める」は研究が無い

一致が裏付けにならない例として、5つのAIすべてが出したのに一次情報を確認できなかった統計が4件あります。どの数字も出典ページを順に参照すると、研究を引用していないページで止まります。

• 営業担当の44%は、1回の追客（見込み客への再連絡）で諦める
• SNSユーザーの90%は、1つ以上のブランドをフォローしている
• 検索した人の75%は1ページ目より先を見ない
• 新規顧客を獲得する費用は、既存顧客を維持する費用の5倍から25倍

「営業担当の44%は1回の追客で諦める」は、営業会社の統計ページからフリーライターの見本記事へ進んだところで止まりました。 2020年の統計ページにある「出典」のリンク先が、2017年までに公開された見本記事で、見本記事に研究の引用はありません。

5倍から25倍も、2014年のHarvard Business Reviewの記事が「どの研究を信じるかによる」として書いた幅で、どの研究かは明らかにしていません。5つのAIはどれも、研究名が無いこの幅を回答に出していました。

「営業の80%は5回以上の追客が必要」は営業団体が出した数字として紹介されますが、問題は数字が古いことです。後継団体によると、最も近い資料は1942年に1つの地方支部で40人未満に聞いたアンケートとのこと。

AIの統計をファクトチェックする3つのポイント

AIの統計をファクトチェックする3つのポイント

出典ページ

引用元のリンクを順に開き、最初に数字を出した研究まで参照する

研究の条件

研究の時期と回答者と人数を確認する

AI同士の一致

裏付けとみなさず、研究そのものを参照する

Trakkrは分析の最後に、AIの統計を受け取る人がするチェック方法を紹介しました。Trakkrが勧めるのは、出典ページが引用した一次情報を参照すること、回答者と人数と時期を見ること、AI同士の一致を裏付けとみなさないことの3つです。 どれも、AIの統計を出典としてではなく、調べるときの目印として受け取る考え方にもとづいています。

出典ページのリンクから一次情報を参照

一次情報とは、数字を最初に出した本人や機関の資料を指します。AIの回答に付いた出典ページが一次情報とは限らないので、出典ページにある引用元のリンクを開く必要があります。

企業ブログや統計まとめが出典のときは、引用元のリンクを順に開き、最初に数字を出した研究まで行き着けばチェックは完了です。 リンクが無く出典名だけが書いてあるページなら、その名前で検索して研究を探します。リンクをすべて開いても研究が見つからない数字は、裏付けの無い統計と判断しましょう。

いつ、誰を何人対象にした研究か確認する

一次情報が見つかったら、数字と一緒に研究の条件も確認します。確認する条件は次の3つです。

• いつ：研究の年。古い数字が、最近の数字として紹介されていないか
• 誰に：回答者の国や職業。一部の回答者に限った数字が、全体の数字として紹介されていないか
• 何人に：回答者の人数。少人数の結果が、広い傾向として紹介されていないか

数字が同じでも、1国だけで聞いたアンケートや15人だけを対象にした研究のように回答者が異なれば、別の統計になります。 Trakkrが記録した変化の多くも、数字ではなく条件の変化でした。

別のAIで聞き直すより研究の原典を参照

別のAIに聞き直して数字がそろうと、正しい数字だと判断したくなります。しかし、5つのAIが同じ数字を出しても出典が5つあるわけではなく、裏付けになるのは研究そのものを掲載したページだけです。

AIが多く繰り返した数字ほど裏付けがあるわけでもなく、裏付け可能な割合は他の数字と変わりませんでした。聞き直す時間は、出典ページのリンクを開く時間に回すほうが確実です。

AIの統計は一次情報で裏付けを確認してから引用

AIの統計に出典があっても、出典の有無だけで裏付けを判断することはできません。つまり、裏付け可能なのは4割で出典の半数超は企業ブログという構造から、AIの統計は出典ページの有無ではなく、一次情報が誰に何人にいつ聞いたものかで判断することになります。

AIが出した統計は、一次情報のページで条件まで確認するまでは下書きとして受け取り、資料やSNSへの引用はその後にしましょう。一次情報が見つからない数字は、多くのAIが同じ数字を出していても引用しないのが安全です。

AIが最初に出典にするページの半数超は企業ブログなので、自社のブログで統計を紹介する側にも同じことが言えます。数字の横に一次情報へのリンクと、誰に何人にいつ聞いたかを書いておけば、そのブログを出典にしたAIの回答からでも、読む人が一次情報を参照できます。