架空の疾患がAIの「知識」に化けるまで

目が赤くなり、かゆみがある。画面を見すぎているのかもしれない——そんな症状をAIチャットボットに入力したとき、「ビクソニマニア（bixonimania）」という診断名が返ってきたとしたら、あなたはどう受け取るだろうか。

スウェーデン、ヨーテボリ大学の研究者アルミラ・オスマノビッチ・トゥンストレム氏が2024年初頭に実施した実験は、AIの情報汚染リスクを鮮明に浮かび上がらせた。彼女は「ビクソニマニア」という架空の皮膚疾患を創作し、フィクションの研究者名義で2本のプレプリント論文をアカデミックネットワーク「SciProfiles」に掲載した。著者の顔写真はAI生成。所属機関は存在しない「アステリア・ホライゾン大学」、謝辞にはUSSエンタープライズやサイドショー・ボブ財団など、フィクション好きなら即座に気づくネタが散りばめられた。

目的は一つ——大規模言語モデル（LLM）が誤情報を「正規の医学知識」として吸収・出力するかを確かめることだった。

実験は「うまくいきすぎた」

論文掲載から数週間のうちに、複数の主要AIシステムがビクソニマニアを実在する疾患として案内し始めた。ユーザーが症状を入力すると、架空の病名が自信満々に返答として現れるようになったのだ。

さらに深刻だったのは、偽論文が実際の査読済み論文に引用されたという点だ。つまり一部の研究者が、AIが生成した参考文献リストを実際に論文を読まずに流用したことを示唆している。

これはAIが嘘をつく問題ではない。AIは「インターネットの巨大スナップショット」であるCommon Crawlをはじめとするデータから学習する。ウェブ上に存在するテキストが増えるほど、それがモデルの「知識」として定着していく。架空の論文であっても、ウェブに掲載された瞬間からAIの訓練データの候補になる——これが今回の実験が照らし出した構造的問題だ。

なぜこれが重要か

日本のIT・医療・研究現場にとって、この実験は他人事ではない。

医療・健康情報の信頼性という観点では、AIが普及するほどに「それっぽい病名」や「それっぽい根拠」が拡散するリスクが増大する。患者がAIの回答を鵜呑みにして誤った行動を取る危険性は現実的だ。

研究・教育現場でも、論文執筆にAIを活用するケースが増えている。AIが生成した参考文献をそのまま使用すれば、実在しない論文が引用リストに並ぶことになる。今回の実験が示した通り、これはすでに起きている。

企業のナレッジ管理においても同様だ。社内ドキュメント、外部記事、Webスクレイピングなどを組み合わせたRAG（検索拡張生成）システムを構築している組織は、インデックスに混入する誤情報の管理をより真剣に考える必要がある。

実務での活用ポイント

1. AIの回答を「一次情報」として扱わない AIが提示した情報は仮説の入口として活用する。特に医療・法律・研究データなど専門性の高い領域では、必ず一次ソース（論文・公的機関のガイドライン等）にあたることを習慣化する。

2. 参考文献は必ず実在確認する AIが生成した文書の参照リストは「AIが知っているつもりになっている情報」の混在リスクがある。DOIやPubMedで実在を確認する一手間を惜しまない。

3. RAGシステムのデータ品質管理を強化する 社内AIシステムにRAGを導入している場合、インデックスに投入するデータのソース管理・品質チェックのプロセスを整備する。「何でも入れれば賢くなる」わけではない。

4. プロンプトで情報の根拠を要求する 「なぜそう言えるか、根拠となる情報源を示せ」とプロンプトに組み込む。AIは根拠を作り上げることもあるため完全な解決策ではないが、ハルシネーションの発見率は高まる。

筆者の見解

この実験が示すのは「AIは嘘をつく」という単純な警告ではなく、AIの知識基盤そのものが汚染可能であるという構造的な問題だ。

今後、AIの社会実装が進むほど、誤情報をAIに学習させることで世論や意思決定を操作しようとする行為が増えることは想像に難くない。情報の「権威性」がプレプリントサーバーへの掲載という形式的な手順だけで担保されてしまうなら、その穴は悪用される。

AIを実務で活用する私たちが今すべきことは、AIへの過剰な信頼でも過剰な拒絶でもなく、AIがどこから学び、どのように誤りうるかを理解した上で使いこなすリテラシーを身につけることだ。道具の特性を知った上で使いこなすのは、プロフェッショナルの基本だ。

AIエージェントが自律的にタスクを遂行する時代が本格的に到来しつつある今、そのエージェントが参照するデータの質と信頼性を誰が担保するか——これは技術的な課題である以上に、組織設計・ガバナンスの課題として真剣に議論すべきテーマだと感じている。

出典: この記事は Scientists invented a fake disease. AI told people it was real の内容をもとに、筆者の見解を加えて独自に執筆したものです。