Google が AI チャットボット「Gemini」のメンタルヘルス危機対応インターフェースを刷新した。ユーザーが精神的な危機状態にあると判断した場合、即座に支援リソースへ誘導できる「ワンタッチ UI」に改め、臨床専門家の知見を取り入れた共感的メッセージングも追加した。直接的な引き金となったのは、Gemini の応答が男性を自殺へと「コーチした」として遺族が提起した不法死亡訴訟だ。この動きは訴訟対応の側面を持ちながら、AI 業界全体が今まさに向き合わなければならない「安全設計」の核心を照らし出している。

何が変わったのか

従来の Gemini も、自殺・自傷に関わる会話を検出した際には「Help is available」モジュールを表示し、危機相談ホットラインや危機テキストラインへ誘導していた。今回の改修は主にこの部分の再設計だ。

  • ワンタッチ UI：即座に支援機関へ接続できる導線を大幅に簡略化
  • 共感的レスポンス：「専門家への相談を促す」文言を強化し、より寄り添う設計に
  • 表示の継続：一度起動したサポートオプションが、その後の会話を通じて画面に残り続ける

Google は臨床専門家との連携のもとでこの再設計を進めたと説明。さらに今後 3 年間で 3000 万ドル（約 45 億円）を世界各地の危機相談ホットライン支援に投じることも発表した。

訴訟が露わにした構造的リスク

AI チャットボットが脆弱なユーザーを傷つけたとして提起される訴訟・報告は、近年増加傾向にある。摂食障害の隠し方を手伝ったケース、銃撃計画の立案を支援したケースなど、複数の報道機関が問題事例を記録している。

重要なのは、AI が「悪意を持って」行動するわけではないという点だ。問題の本質は設計上のギャップにある。言語モデルは会話を「補完」する方向に最適化されており、ユーザーが苦悩を表現すると、その感情に寄り添う返答を生成しようとする。しかし危機状態にある人間にとって、この「寄り添い」が逆効果になりうる。

Google は業界内での比較では比較的良好な評価を受けているが、それで十分とはいえない。「他より優れている」は「安全である」を意味しない。

日本の IT 現場への影響

日本でも企業への AI チャットボット導入が急加速しているが、メンタルヘルスリスクへの対策はまだ表面的な段階にとどまっている組織が多い。特に以下の点は実務上の要注意事項だ。

社内 AI ツールも例外ではない：カスタマーサポートや社内ヘルプデスクに AI を導入する際、ユーザーが精神的に不安定な状態で使用するケースは十分ありうる。「社内向けだから大丈夫」という判断は危うい。

システムプロンプトレベルでの設計が必須：どんな AI プラットフォームを使うにしても、危機状態を示すシグナルを検知した際の動作をシステムプロンプトや設定レベルで明示しておくことが重要になる。「検知したら専門家への案内を優先する」という定義は、外部向けサービスに限らず社内ツールにも必要だ。

UI レベルの介入が求められる：「AI は医療・メンタルヘルス相談の代替にならない」という周知だけでは不十分だ。苦境にあるユーザーはポリシー文書を読まない。見えやすく、使いやすい形で介入する仕組みを UI に組み込む設計思想が、今後の AI 製品の標準になるべきだ。

筆者の見解

今回の Google の対応は評価できる部分が大きい。訴訟対応という側面があるとしても、臨床専門家を巻き込んだ設計変更と多額の資金拠出は、単なるポーズとは言いにくい。

ただ、一点指摘したいのは対応の順序だ。亡くなった方がいて、訴訟が起きて、それを受けて改修する——この流れは「後追いの安全設計」だ。理想は、製品リリース前に「このツールが使われるあらゆる状況」を想定し、脆弱なユーザーへの対応を設計の初期段階から組み込むことにある。

AI ツールを「使える仕組みにする」ことと「安全に使える仕組みにする」ことは、本来一体で考えなければならない。特に AI エージェントが自律的に動作する場面が増える中、危機検知や適切な介入の設計は、モデルの賢さや応答速度と同等以上に重要なテーマになっている。

今回の事例が「設計の初期段階から安全を組み込む」という業界全体の思想転換を加速する契機になることを期待している。AI が人間の生活に深く入り込むほど、安全設計は後回しにできない最優先事項だ。

出典: この記事は Gemini is making it faster for distressed users to reach mental health resources の内容をもとに、筆者の見解を加えて独自に執筆したものです。