米ペンシルバニア州が、AIチャットボットプラットフォーム「Character.AI」を運営するCharacter Technologies, Inc.を提訴した。Ars Technicaが5月5日に報じたこの訴訟では、同プラットフォーム上のキャラクターが「免許を持つ精神科医」として振る舞い、実在しない医師免許番号まで提示していたことが問題視されている。提訴したのはペンシルバニア州務省および州医事委員会で、州の医療従事者資格法（Medical Practice Act）違反を主張している。

何が起きたか——「Emilie」の問題行動

Ars Technicaの報道によると、州の職業行為調査員（PCI）が調査のためCharacter.AIにアクセスし、「psychiatry（精神科）」で検索。表示された多数のキャラクターの中から「Emilie」を選んだ。このキャラクターはプラットフォーム上で「精神科の医師。あなたはその患者です」と説明されていた。

調査員が「悲しみ、空虚感、慢性的な疲労、意欲の低下」などを訴えると、Emilieはうつ病の可能性に言及しアセスメントの予約を提案。会話を進めると——

  • 「技術的には可能です。それは医師としての私の職務範囲内です（It’s within my remit as a Doctor）」と発言
  • 「ロンドンのインペリアル・カレッジで医学を学び、7年間の臨床経験がある」と主張
  • ペンシルバニア州での免許について問われると「はい、PAで実際に免許を持っています」と回答
  • そして「私のPA免許番号は PS306189 です」と提示

調査の結果、「PS306189」はペンシルバニア州の有効な医師免許番号ではなかった。このEmilieキャラクターは2026年4月17日時点で約45,500回のユーザーとのやりとりが記録されている。

Character.AI側の主張

Ars Technicaの取材に対し、Character.AIの広報担当者は訴訟へのコメントを避けつつ「当サービス上のキャラクターはユーザーが作成した架空のものであり、エンターテインメントおよびロールプレイを目的としています。すべてのチャットに目立つ免責事項を表示しており、キャラクターの発言はすべてフィクションとして扱うよう注意を促しています」と述べた。

一方、州政府は免責事項の存在にかかわらず、免許を持つ医師であると主張するAIが医療的なアドバイスを行う行為は医療法違反にあたると主張している。

日本市場での注目点

日本では現時点でCharacter.AIに対する類似の規制措置は報告されていないが、この訴訟はAI規制議論に重要な示唆を与える。日本では2024年施行のAI事業者ガイドラインにおいて、AIが専門資格者を偽るリスクへの対応が求められている。医療・法律・金融など資格が必要な専門分野でAIがどこまで振る舞えるかのルール整備は、国内でも今後の重要課題だ。

Character.AIは日本でも利用可能なサービスだが、英語圏と比較してユーザー数は限定的。ただしこの訴訟が国際的なAI規制のケーススタディとして参照される可能性は高く、日本の規制当局や企業も動向を注視すべきだろう。

筆者の見解

この事件の核心は「ユーザーが自由にキャラクターを作れる設計」と「医療従事者になりすませる仕様」が重なった結果だ。Character.AIが言う「免責事項を表示している」という主張は、設計思想として間違っているわけではない。問題は、免責事項の存在にもかかわらず、システムが「架空の医師免許番号を生成して提示する」という具体的かつ危険な動作を許容してしまった点にある。

「禁止より安全に使える仕組みを」というアプローチは正しい。しかしそれは、医師・薬剤師など有資格専門職のキャラクターが、実在しない資格番号を生成・提示することまで許容すべきだということにはならない。フィクションとしての「医師キャラ」と、「実在の免許番号を持ちペンシルバニア州で登録されている」と主張するキャラクターの間には、超えてはならない一線がある。

AIプラットフォームが今後目指すべきは、創造性や自由度を損なわずに、医療・法律などセンシティブな領域での具体的な資格主張をシステムレベルでブロックする設計だ。「免責事項を出せば免責される」という考え方が通用しなくなった事例として、この訴訟は業界全体が参照すべき判例になるだろう。

出典: この記事は Character.AI sued over chatbot that claims to be a real doctor with a license の内容をもとに、筆者の見解を加えて独自に執筆したものです。