OpenAIは、自己対戦型の強化学習で訓練した自動レッドチーミングAI「GPT-Red」の詳細を公式ブログで公開した。GPT-Redを使ってGPT-5.6を鍛えた結果、プロンプトインジェクション攻撃の成功率を90%超からわずか23%未満まで引き下げることに成功したという。GPT-Red自身の攻撃力は、人間のプロのレッドチーム（攻撃成功率13%）を大きく上回る84%を記録し、自律エージェントに対する実際のハッキングデモ（自動販売機の乗っ取り）まで公開されている。

GPT-Redとは何か

GPT-Redは、モデルの脆弱性を発見することだけに特化して訓練された「攻撃側AI」だ。人間のレッドチームがプロンプトインジェクションやジェイルブレイクの手口を手作業で考案するのに対し、GPT-Redは強化学習によって自ら攻撃パターンを生成し、改良し続ける。

自己対戦強化学習の仕組み

ポイントは、攻撃側（GPT-Red）と防御側（対象モデル）を互いに競わせる自己対戦（self-play）の枠組みにある。GPT-Redが新しい攻撃を見つけるたびに、その攻撃パターンで対象モデルを再訓練し防御力を強化する。このループを繰り返すことで、人手では洗い出しきれない攻撃パターンを網羅的に発見し、モデルの耐性を段階的に引き上げていく。結果としてGPT-5.6の攻撃成功率は23%未満まで下がった一方、GPT-Red自体は84%という高い攻撃成功率を維持しており、「攻撃側が防御側を追い越し続ける」いたちごっこの構造がそのまま浮き彫りになっている。

なぜこれが重要か

公開されたデモでは、自律的にタスクを実行するAIエージェントにプロンプトインジェクションで不正な命令を注入し、自動販売機を乗っ取る攻撃が実演された。これは理論上の脆弱性ではなく、AIエージェントが決済や在庫管理、物理デバイスといった実世界のシステムに接続され始めている今、極めて現実的な脅威だと示す好例だ。エージェントが自律的に判断・実行する範囲が広がるほど、攻撃対象になったときの被害も具体的になる。

実務での活用ポイント

日本企業でもAIエージェント導入が本格化する中、実務担当者への示唆は明確だ。

  • 外部入力(Webページ、メール、ファイル)を読み込んで行動するエージェントは、プロンプトインジェクションの発生を前提に権限を最小化する
  • 決済や実行系のアクションを伴うエージェントには、金額や操作範囲に応じた承認フローを組み込む
  • 自社でLLMアプリを運用するなら、GPT-Redのような自動レッドチーミングの発想を参考に、継続的な脆弱性診断をパイプライン化する

筆者の見解

AIエージェントの本質は、人間への確認を減らし自律的に目的を遂行させることにある。だからこそ、その自律性を安全に担保する技術がセットで進化する必要がある。GPT-Redのような自己対戦型レッドチーミングは、「禁止するのではなく、安全に自律的に使える仕組みをどう作るか」という王道の解き方であり、自動販売機ハッキングのデモは、エージェントが実世界のシステムに触れ始めた今こそこの取り組みが急務であることを裏付けている。

日本のIT現場は「危ないから使わせない」という禁止アプローチに流れがちだが、それでは現場は公式に安全な選択肢がないまま非公式な利用に流れるだけだ。攻撃側AIと防御側AIを競わせて耐性を鍛えるという発想は、AIエージェントが確認待ちの副操縦士から自律的に動くハーネスループ型の運用へと広がっていくほど、重要性を増していくはずだ。

出典: この記事は GPT-Red: Unlocking Self-Improvement for Robustness の内容をもとに、筆者の見解を加えて独自に執筆したものです。