AIツール導入の「成果」をトークン使用量で競わせる——そんな歪んだKPI「Tokenmaxxing」が登場し、ソフトウェアエンジニアリングの現場に波紋を広げている。米国のソフトウェアエンジニアリングマネージャー、Brian Meekerが自身のブログで、AIポリシーの必要性とその具体的な内容を公開した。

「Tokenmaxxing」とは何か

Tokenmaxxingとは、企業がAIツールの導入を促進するために、チーム内でトークン使用量のリーダーボードを作成し、誰が一番多くトークンを消費しているかを競わせるという手法だ。

表向きは「AIを積極的に使っているか」の指標だが、実態は即座に「ゲーム」された。エンジニアたちはトークンを無駄遣いするループを作成してリーダーボードのトップに立つか、「使っているように見せる」程度のトークン消費に留めて本当の使用状況を隠すかのどちらかを選んだ。

Meekerはこれを「虚栄の指標が指導力を装ったもの」と一刀両断する。20年以上前にストップウォッチで作業時間を計測しようとして失敗した管理職の話を例に挙げ、「計測されれば人の行動は変わる。本質から乖離した指標を設定すると、そこに向けて最適化される」という普遍的な教訓を改めて提示している。

Meekerチームの「AIポリシー」4原則

Meekerは自身のチームに向けてAIポリシーを策定し、4つの原則を明示した。

1. AIツールの使用義務はない

AIツールを使うかどうかはエンジニアの判断に委ねる。使用量でレビューされることはない。ただし、この技術が業界に与えるインパクトは無視できないため、動向を継続的に把握することは求める。

2. AIが生成したコードを理解すること

AIが書いたコードをそのまま貼り付けることは禁じていないが、そのコードが「何をしているのか」を説明できなければならない。コードのオーナーシップはあくまで人間にある。

3. AIツールなしでも仕事ができること

AIツールが突然使えなくなっても、業務を継続できる能力を維持する。ツールへの過度な依存はリスクであり、成長の停滞にもなりうる。

4. チームとお客様を大切にすること

最終的に仕事の目的は顧客の課題を解決することだ。Tokenmaxxingのような指標は、この本質から目を逸らさせる。

日本のIT現場への影響

このポリシーが示す問題意識は、日本のIT現場にも直接当てはまる。

「とにかくAIを使え」という圧力への対処

ChatGPTやGitHub Copilotの普及に伴い、「AI活用推進」を名目にした曖昧な指令が増えている。しかし何をもって「活用した」と判断するのか不明確なまま現場に丸投げされるケースが多い。Meekerのアプローチは、指標より「哲学」を先に定義する重要性を示している。

コードレビューの質が変わる

AIが生成したコードを「理解せずにマージ」するケースは国内外で既に問題になっている。「AIが書いたから自分は責任を持たない」は通用しない。レビュアーも作成者も、コードの中身を追える技術力を維持し続ける必要がある。

「禁止」ではなく「ガイドライン」で管理する

AIツールを禁止する企業は今でも多いが、その場合も裏で勝手に使われるだけだ。Meekerが実践したように、公式のポリシーとして「何のために使うか」「何をしてはいけないか」を定義することが現実的な解だ。禁止は最も手っ取り早く、最も機能しないアプローチである。

筆者の見解

Tokenmaxxing——トークン消費量をリーダーボードで競わせる——は確かに愚かだ。しかし筆者が問題視しているのは、指標をハックした人間の行動であって、「AIの活用度を測ろう」という方向性そのものではない。

率直に言えば、「AIをどれだけ効果的に使いこなしているか」を可視化すること自体は、かなり筋のいい発想だと考えている。変なKPIを定めてその数字だけをハックしてしまうのは人間が陥りがちな罠であり、それは指標設計の問題であって、AI活用を測ること自体の否定にはならない。

Meekerの4原則は誠実な試みだと思う。ただし「AIを使わなくてもいい」という選択肢を前面に出すことには、少し慎重になるべきだ。今の時代にエンジニアとしてAIを積極的に使おうとしない姿勢自体が大変まずい。「使わなくてもいい」を強調しすぎると、使わない言い訳を組織に与えてしまうリスクがある。

必要なのは「使うな」でも「使え」でもなく、「どう使えば効果的か」を組織として定義し、仕組みとして支援することだ。成果指標は見直すべきだが、AIをうまく活用しながらいかに仕事をこなすかという方向に舵を切るための仕組みづくりと動機付けは必須だと筆者は考えている。Tokenmaxxingの失敗から学ぶべきは「測るな」ではなく「正しく測れ」だ。

出典: この記事は Have a Coherent AI Policy の内容をもとに、筆者の見解を加えて独自に執筆したものです。