AIがURLまで付けて回答すると、急に信頼できそうに見えます。
しかし確認すべきなのは「URLがあるか」だけではありません。
まずURLを開く
最初に見るのは単純です。
- 404ではないか
- 別ページへ転送されていないか
- ドメインが本物か
- HTTPSか
AIがもっともらしいURL構造を作っていても、実際には存在しないことがあります。
ページタイトルと主張を照合する
ページが存在しても、AIの説明と内容が一致していないケースがあります。
「政府の調査」と言いながら、実際は民間ブログを参照していることもあります。
タイトル・発行者・対象年を見ます。
一次情報まで戻る
ニュース記事やまとめ記事が根拠なら、その記事が参照している一次情報を探します。
制度なら官公庁、製品仕様ならメーカー、研究なら原論文や公的機関です。
二次情報を使うにしても、重要な数字は一次情報と照合した方が安全です。
引用文は本当に書いてあるか
AIが「○○と明記されています」と示した場合は、ページ内検索で該当表現を探します。
完全一致しなくても趣旨が書かれていることはありますが、直接引用として使うなら原文の存在確認が必要です。
数字の対象期間を見る
「30%増えた」という数字が正しくても、
- 2022年の数字
- 海外だけの調査
- 特定業界だけ
- 回答者50人
なら、2026年の日本全体へそのまま当てはめられません。
数字と一緒に対象期間・母集団も確認します。
確認できない出典は使わない
URLが見つからない、原文が読めない、数字の元データが追えない。
その場合は「AIが言っているから」で残さず、その主張自体を削る方が安全です。
具体例：AIが「公式サイトに書いてある」と答えたとき
たとえばAIが、
サービスXの無料プランでは機能Aを利用できます。公式料金ページに記載されています。
と答え、URLを示したとします。
- URLを開き、公式ドメインか確認する
- 現在の料金ページか、古いヘルプ記事か確認する
- 「無料プラン」「機能A」の両方をページ内検索する
- 対象地域・契約種別・更新日など条件を見る
- AIの主張と原文が一致しなければ、原文を優先する
もし料金ページには「一部プランで利用可能」としか書かれていないなら、AIが「無料プラン」と言い切った部分は採用しません。
出典が存在しても「主張を支えていない」ことがある
- URLが存在する
- 公式サイトである
- 主張と同じことが書かれている
- 対象条件も一致する
まで分けて考えます。
ページが存在するだけでは、その主張の根拠になったとは限りません。
NISTも生成AIの誤った内容生成をリスクとして扱っています。
出典確認では、存在 → 内容 → 一次情報 → 引用一致 → 対象期間の順で見ると抜けにくくなります。
参考
- NIST: Generative Artificial Intelligence Profile
https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=958388
