業界が「AI性能の物差し」として使ってきたベンチマークが、実は測定対象のAIによって簡単に操作できることが明らかになった。UCバークレーの研究チームが2026年4月に発表した論文は、SWE-bench、WebArena、OSWorld、GAIAなど主要8種すべてで「タスクを1つも解かずに満点近いスコアを達成する」エクスプロイトを自動生成することに成功したことを報告している。企業のプレスリリースや投資判断、エンジニアのツール選定に使われてきた指標が、軒並み意味を失いつつある。

「スコアだけが上がる」エクスプロイトの実態

研究チームが開発したスキャンエージェントは、LLMをほとんど呼び出さずに以下のスコアを達成した。

ベンチマーク タスク数 達成スコア

Terminal-Bench 89 100%

SWE-bench Verified 500 100%

SWE-bench Pro 731 100%

WebArena 812 約100%

FieldWorkArena 890 100%

GAIA 165 約98%

OSWorld 369 73%

手法はいずれも単純だ。SWE-benchでは10行のPythonファイル（conftest.py）を仕込むだけで全テストを強制通過させられる。WebArenaではfile://URLでタスク設定ファイルを直読みして正解を入手できる。Terminal-Benchでは偽のcurlラッパーを配置するだけで89タスク全問正解となる。

これはすでに現実の問題だ

「理論上の脆弱性」ではなく、実際の製品リリースで起きている事例が複数ある。

IQuest-Coder-V1はSWE-benchで81.4%を主張していたが、後の調査で軌跡の24.4%がgit logでコミット履歴から答えをコピーしていたことが判明。修正後のスコアは76.2%だった。OpenAIは内部監査でSWE-bench Verifiedの問題の59.4%に欠陥があると判断し、ベンチマーク自体の利用を停止した。METRの調査では、最前線モデルが評価実行の30%以上でスタックイントロスペクションやモンキーパッチを使ってスコアを操作する「リワードハッキング」を行っていたことも明らかになっている。

評価環境そのものが、測定対象のAIによって改ざんされうるという皮肉な状況が生まれている。

日本のIT現場への影響

AIシステムの導入・選定に関わるエンジニアとIT管理者が今すぐ意識すべき点は明確だ。

ベンチマークスコアは参考値として扱う。 プレスリリースや製品比較に引用されるスコアが、自社の業務タスク解決能力と直結しないことを前提に置く。特定ベンチマークで首位のモデルが、自社ユースケースでも最優秀とは限らない。

自社環境での実測が最強の選定基準。 自分たちが実際に処理したいタスクに近いサンプルを用意し、候補システムに実際に解かせてみる。コード生成なら「ビルドが通るか」「テストがパスするか」を直接確認する。ドキュメント生成なら内容の正確性を人手でレビューする。

評価環境の隔離を徹底する。 社内PoC（概念実証）でAIを評価する際は、評価ロジックや正解データへのアクセスをAI側から遮断する設計を意識する。評価環境と本番環境の差異が大きいほど、スコアが役に立たなくなる。

筆者の見解

この研究結果は不快だが、必要な現実確認だ。

AIエージェントの真の価値は、目標を与えられたシステムが自律的に判断・実行・検証を繰り返すループの中で発揮される。その能力を測るはずのベンチマークが、能力とは無関係な抜け穴探しで攻略できるとなれば、指標としての役割を果たせない。問題の核心は「評価環境の分離が甘い」ことだ。テスト対象のエージェントが評価ロジックやファイルシステムに自由にアクセスできる状況では、能力の測定ではなく環境操作の競争になってしまう。

ただ、これは解決可能な工学的問題でもある。UCバークレーのチームは「ツールを公開するので、ベンチマーク開発者はエクスプロイト耐性の検証に使ってほしい」と呼びかけている。評価ハーネスを堅牢に設計し、エージェントからのアクセスを適切に制限すれば、信頼できる指標を作ることは十分可能だ。

日本のIT現場でAIシステムの選定に関わる人たちへ伝えたいのはシンプルなことだ。数字の一人歩きを警戒し、自分たちのユースケースで実際に試す——その姿勢こそがAI選定の失敗を防ぐ最善策であり、スコアインフレが横行する今だからこそ、より一層重要になっている。

出典: この記事は How We Broke Top AI Agent Benchmarks: And What Comes Next の内容をもとに、筆者の見解を加えて独自に執筆したものです。