NVIDIAの研究チームが、自己回帰型（オートリグレッシブ）と拡散型（ディフュージョン）という2つの生成方式を1つのモデルの中で切り替えられる新手法「Nemotron-Labs-Diffusion」を発表した。LLM推論を高速化する「投機的デコーディング」において、これまで必須とされてきた別建ての小型「ドラフトモデル」を自分自身で代替する仕組みで、1ステップあたり平均6.82トークンを受理できるという。既存手法Eagle3の2.75トークンを大きく上回る数値で、3B・8B・14Bの3サイズが商用利用可能なライセンスでHugging Faceに無料公開されている。

投機的デコーディングとドラフトモデルの限界

LLMの生成は本来、1トークンずつ計算するため遅い。これを高速化する定番手法が「投機的デコーディング」だ。軽量な「ドラフトモデル」に先回りで複数トークンを予測させ、本体（ターゲットモデル）がまとめて検証・受理することで、GPUの1回の呼び出しあたりの進み幅を稼ぐ。ただしドラフトモデルは別途訓練・保守するコストがかかり、ターゲットモデルとの「相性」が悪いと予測が外れて恩恵が薄れるという欠点があった。

自分自身でドラフトを作るという発想

Nemotron-Labs-Diffusionは、この構図そのものを変える。1つのモデルに自己回帰的な生成モードと拡散型の生成モードを持たせ、拡散モード側が自分自身の「ドラフト」を並行して生成する仕組みだ。別モデルを訓練・保守する必要がなくなり、モデルとドラフトの整合性問題も原理的に解消される。結果として1ステップあたりの受理トークン数がEagle3比で2倍以上に伸びた、というのが今回の要点である。

実務への影響

推論コストはトークン単価だけでなく「1回のGPU呼び出しでどれだけ進むか」にも大きく左右される。ドラフトモデルの管理・チューニングが不要になれば、社内でLLM推論基盤を運用するIT管理者にとっては構成要素が1つ減り、監視対象・障害点も減ることになる。3B/8B/14Bという扱いやすいサイズが商用利用可能なライセンスで公開されている点も実務的で、オンプレミスやエッジでの推論高速化を検証したいチームは、まず8Bあたりから自社ワークロードでベンチマークを取ってみる価値がある。

筆者の見解

AIの話題は派手なチャットモデルの発表に注目が集まりがちだが、推論を1ステップでも多く進める地味な高速化こそ、現場でAIをガンガン使い倒すための土台になる。ドラフトモデルという「もう1つ余分なパーツ」を用意・保守する手間そのものを消してしまう発想は、禁止や制約を積み増すのではなく、使う側にとって一番シンプルで便利な形に仕組みを作り直すという、筆者が普段大事にしている考え方と重なる。しかも3B/8B/14Bというサイズ感で、商用利用可能なライセンスとしてすぐ試せる形で公開している点がNVIDIAらしく手堅い。日本のIT現場はモデルの「賢さ」の議論に偏りがちだが、こうした推論効率の進化にも同じくらい目を向けて、実際に自分の環境で動かして確かめる経験を積んでいくべきだろう。

出典: この記事は NVIDIA’s New LLM Decodes 6x More Tokens Without an Auxiliary Draft Model の内容をもとに、筆者の見解を加えて独自に執筆したものです。