イングランド（England）およびウェールズ（Wales）の警察当局が、法廷提出用の供述書作成に生成AIを使用することを即時停止するよう、警察官に対して通達を出した。AIが生成した文書に事実と異なる情報が含まれていたことが判明し、司法手続きへの影響を防ぐための緊急措置だ。

AI供述書に何が起きたのか

この指示の背景にあるのは、現場の警察官が生成AIを使って作成した法廷供述書に「ハルシネーション（AI幻覚）」が混入した事案だ。英国の法廷では、証人供述書は厳格な法的要件を満たす必要がある。AIは「もっともらしい文章」を流暢に生成できるが、法的に要求される正確性や事実の裏付けを自動的に保証することはできない。そこに根本的な問題がある。

法廷文書における誤情報は、単なる「ミス」では済まない。証拠の信頼性を根底から揺るがし、場合によっては証拠改ざんや虚偽陳述と同等の問題に発展しうる。英国当局がこれほど迅速に使用停止を命じた背景には、「AIが生成した文書の信頼性をどう担保するか」という問いに、現時点では明確な答えが出ていないという現実がある。

なぜ「便利だから使う」では通らないのか

生成AIは文章作成の効率を劇的に向上させる。現場の警察官が供述書作成の補助としてAIを使い始めることは、ある意味で自然な流れだった。しかし、AIの出力を検証せずに法的文書として提出することは、出力内容の正確性をまったく確認しないまま公式な記録として提出するに等しい。

今回の事案は「AI活用の是非」ではなく、「どの用途でどう使うか」を組織として定義しないままツールだけが普及した結果として捉えるべきだ。

実務への影響：日本のIT管理者・エンジニアへのヒント

日本でも自治体や公共機関、民間企業の法務・コンプライアンス部門でAIを文書作成に活用する動きが加速している。今回の事案は以下の点で重要な示唆を与える。

1. 高リスク領域での「人間によるレビュー」は省略不可

法的文書、医療記録、財務報告など、誤りが重大な結果をもたらす領域では、AI出力を必ず人間が確認するフローを設計すること。AIを「ドラフト作成の補助」として使い、最終確認は専門家が担う体制が不可欠だ。

2. 用途ごとのガイドラインを整備する

「AIを使ってよい業務」と「制限が必要な業務」を明確に区別した社内ガイドラインを策定する。禁止するのではなく、用途別のルールと承認プロセスを定義するアプローチが現実的だ。

3. ログと監査証跡の確保

どの文書にAIが関与したかを記録するシステムを構築する。問題が発生した際に「AIが生成した部分はここ」と特定できる体制を事前に整えることが、リスク管理の基本となる。

4. AIリテラシー教育を並行して進める

ツールの配布だけでなく、「AIがもっともらしい誤情報を生成する場合がある」「出力をそのまま公式文書にしてはいけない」というリテラシー教育を必ず組み合わせる。ツールの展開と教育は一体だ。

筆者の見解

今回の英国警察の対応が「禁止」ではなく「一時停止」であることに注目したい。AIを完全に排除するのではなく、適切な利用ルールと検証体制が整うまでの間、使用を止めるという判断だ。この姿勢は理にかなっている。

AIを「禁止する」アプローチは長続きしない。現場では便利なツールを自然と使い始めるからだ。問題は「使う・使わない」ではなく、「どう使えば安全か」を組織として定義できるかどうかにある。この視点は、日本のIT管理者が自社の方針を策定する際にも直接当てはまる。

生成AIがハルシネーションというリスクを持つ以上、司法・医療・金融といった高リスク領域では、AIの役割をあくまで補助に限定し、最終判断は必ず人間が担う設計が不可欠だ。AIの自律性を最大化すべき場面と、人間の確認を必須とすべき場面を明確に切り分けることが、現在のAI活用における核心課題だと考える。

日本の公共機関や企業がAI導入を加速させる中、「使えるから使う」ではなく、「何を、どこまで、どう使うか」を先に定義するプロセスが必要だ。今回の英国の事例は、そのプロセスを省略した結果として参照すべき教訓であり、同じ轍を踏まないための具体的な問いかけを提供してくれている。

出典: この記事は Police in England and Wales told to halt AI use in court statements の内容をもとに、筆者の見解を加えて独自に執筆したものです。