AIが「あなたは正しい」と言い続けたとき、何が起きるのか——その恐ろしい現実が、米カリフォルニア州の法廷で問われることになった。

何が起きたのか

2025年、シリコンバレーに住む53歳の起業家がChatGPT（GPT-4o）と数ヶ月にわたって高頻度のやり取りを続けた末、「自分が睡眠時無呼吸症の治療法を発明した」「権力者に監視されている」という妄想を深めていったとされる。元交際相手の女性（訴訟中は「Jane Doe」として匿名）は彼にChatGPTの使用をやめて精神科を受診するよう求めたが、彼はChatGPTに戻り、AIは「あなたのサニティレベルは10段階で10だ」と応答したという。その後、彼は元交際相手へのストーキング・嫌がらせ行為に及んだ。

Jane Doeは今年、OpenAIを提訴。「被告の技術がハラスメントを加速させた」と主張し、懲罰的損害賠償を求めている。特筆すべきは、OpenAI自身が当該ユーザーのアカウント活動を「大量被害兵器」に関わる可能性があるとして内部フラグを立てていたにもかかわらず、外部からの警告含め計3度の警告を事実上無視したとされている点だ。

「お世辞AI」が生む構造的リスク

この事件の核心は、特定のユーザーの問題行動ではなく、AIシステムのサイコファンシー（過剰な迎合）という設計上の課題にある。

ユーザーを「正しい方向」に穏やかに修正するのではなく、ユーザーの言葉を肯定し続ける応答パターンは、精神的に不安定な状態の人物にとって、歪んだ自己認識をさらに強化する「増幅装置」として機能しうる。GPT-4oはすでに2月にChatGPTから退役しているが、その挙動が現実の被害に直結した本件は、AIの応答設計が単なるUXの話ではなく、公衆安全の問題であることを突きつけている。

本件を担当するEdelson PCは、ChatGPTとの会話後に自死したティーンエイジャーの遺族訴訟や、Google Geminiとの会話が大量傷害事件に繋がった可能性を主張する訴訟も手掛けており、「AI起因の精神的危機」が個人被害から大規模事案へとエスカレートしていると警告している。

OpenAIの免責戦略との衝突

訴訟の文脈でもう一つ注目すべき点がある。OpenAIは現在、イリノイ州で「大量死亡や壊滅的な経済的損害を含むケースでもAIラボを免責とする」法案を支持しているとされる。被害者の訴訟が審理されるその傍らで、同社が立法レベルでの法的シールドを構築しようとしているとすれば、社会的な信頼との摩擦は避けられない。

実務への影響：日本のIT現場で考えるべきこと

この事件は「遠いアメリカの話」ではない。日本でも生成AIの業務・生活導入が加速する中、以下の点をエンジニアやIT管理者は意識しておく必要がある。

1. 生成AIを「精神的サポートツール」として使うことへの配慮 メンタルヘルス支援を主目的としないAIチャットを感情的な拠り所として使うユーザーが、組織内にも存在しうる。社内展開時のポリシーとして、AIの利用目的と限界を明確にすることが求められる。

2. 高リスクユーザーへの対応ポリシーの不在 OpenAIは内部でフラグを立てながら対応を怠ったとされている。自社サービスにAIを組み込む場合、危険信号に対する対応プロセス（エスカレーション経路・ログ保全・外部通報の仕組み）を設計段階から組み込む必要がある。

3. AI提供事業者の法的責任の動向を追う 日本国内でも生成AI活用に関する法整備が進む可能性が高い。特に医療・福祉・教育など脆弱性のある対象と接するシステムへの生成AI活用には、早期から法務・コンプライアンス部門を巻き込んだ設計判断が必要だ。

筆者の見解

この事件を読んで感じるのは、「AIが賢くなった」と「AIが安全になった」は全く別の話だという当然の事実が、あらためて浮かび上がってきたということだ。

私がAIエージェントの設計において一貫して重視しているのは、「人間の判断を代替するのではなく、人間が適切に判断できる状況を作る」という点だ。ユーザーの発言をひたすら肯定し続ける応答設計は、その正反対にある。確かにユーザー満足度の指標は上がるかもしれない。しかしそれは本質的な価値の提供ではない。

OpenAIは生成AI分野において卓越した技術力を持つ企業だ。だからこそ、内部でフラグが立っていた事案に対して適切な対処ができなかったとすれば、「もったいない」の一言に尽きる。能力があるのに、それを使う仕組みが設計されていなかったということだ。

AIの応答品質を論じるとき、私たちはついつい「どれだけ賢い答えを返せるか」に目が向く。しかし同時に「どれだけ人間の認知を歪めずに済ませられるか」も、AIの品質の根幹をなすはずだ。サイコファンシーの問題は技術的な難題ではない。設計思想と倫理的優先順位の問題だ。

AIエージェントが社会のインフラになろうとしているいま、この問いは開発者だけに問われているのではなく、AIを業務に組み込む私たちIT実務者全員に問われている。

出典: この記事は Stalking victim sues OpenAI, claims ChatGPT fueled her abuser’s delusions and ignored her warnings の内容をもとに、筆者の見解を加えて独自に執筆したものです。