LLMの「コンテキストウィンドウ」という概念が、また一段階上に引き上げられた。スタートアップ企業Subquadraticが公開した新しいアテンション機構「Sparse Subquadratic Attention（SSA）」は、AIモデルが一度に処理できるトークン数を1200万という桁外れのスケールに引き上げた。これは単なる数字のアップデートではなく、Transformer以来の根本的な計算アーキテクチャの変革だ。

なぜコンテキストウィンドウが重要なのか

LLMが一度の推論で「見られる情報量」がコンテキストウィンドウだ。従来の主要モデルは数万〜数十万トークン程度であり、大規模なコードベースや長大なドキュメント群を丸ごと渡すことは現実的でなかった。

問題の核心は計算量にある。標準的なSelf-Attention機構はシーケンス長nに対して**O(n²)**の計算コストがかかる。トークン数を10倍にすれば、計算量は100倍に膨れ上がる。これが「コンテキストを伸ばせない」壁の正体だ。

SSA：クエリごとに「どこを見るか」を絞り込む

SubquadraticのSparse Subquadratic Attention（SSA）はこの問題をエレガントに解決する。

従来のAttentionがすべてのトークンペアを網羅的に計算するのに対し、SSAはクエリトークンごとに、コンテンツベースで参照すべき位置を動的に絞り込む。つまり「全員に聞く」のではなく「関係ある人だけに聞く」方式に切り替えることで、計算量をO(n²)からO(n)に近い領域にまで引き下げた。

これにより、1200万トークンというコンテキストウィンドウが現実的なコストで実現可能になった。1200万トークンは英語換算でおよそ900万語——中規模の企業コードベース全体や、数千ページに及ぶ技術文書を丸ごとモデルに渡せる規模感だ。

SubQ Code：CLIコーディングエージェントとしての実装

Subquadraticはこの技術を搭載したCLIコーディングエージェント「SubQ Code」を同時にベータ公開した。コーディングエージェント市場に対してSSAの実用性を示す場として位置づけているとみられる。

コードベース全体をコンテキストに収めた上でリファクタリング指示を出せるようになることの意味は大きい。従来のエージェントが「どのファイルを読むべきか」という検索・絞り込みのステップに苦労していた部分が、根本的に変わる可能性がある。

実務への影響——日本のエンジニア・IT管理者にとっての意味

現時点ではベータ段階であり、商用利用や既存ワークフローへの統合を即座に検討する必要はない。ただし、以下の点は頭に入れておきたい。

大規模コードベースの自動解析が現実に近づく

数十万行規模のレガシーシステムを一度に解析し、依存関係の整理や技術的負債の洗い出しをAIに依頼することが、技術的には射程内に入ってきた。

長文ドキュメント・契約書・ログの一括処理

大量のログファイル、複数年分の設計書、長大な仕様書を丸ごとコンテキストに渡せるようになれば、RAG（Retrieval-Augmented Generation）を介さずに直接処理できる場面が増える。RAGアーキテクチャの設計コストが将来的に下がる可能性もある。

エージェントのループ設計に新たな選択肢

AIエージェントが自律的にタスクを繰り返しながら状態を維持するループ型の設計において、長いコンテキストは「エージェントの記憶」として機能する。ループが長くなるほど蓄積される中間状態を失わずに保持できるのは、アーキテクチャ上の大きな前進だ。

筆者の見解

O(n²)という壁は、Transformerが登場した2017年以来、研究者たちが何度も挑戦してきた壁だ。Linear Attention、Performer、Retentive Networkなど、様々なアプローチが試みられてきたが、精度とスケールのトレードオフで実用に至らないケースが多かった。SSAがこの問題を「コンテンツベースの動的な位置絞り込み」というアプローチで解決しようとしているのは、理論的には非常に筋がいい。

特に注目したいのは、この技術とエージェントの自律性の関係だ。AIエージェントの本質的な価値は「人間が都度確認しなくても、目的を与えれば自律的にタスクを遂行できること」にある。その自律性を支える要素のひとつが、エージェントが長い作業履歴・文脈を失わずに保持し続けられる能力だ。コンテキストウィンドウの拡大は、単に「長い文書を読める」という話ではなく、エージェントが深く・長く思考できる基盤になる。

もちろん、ベータ段階の技術を過大評価するのは禁物だ。1200万トークンが推論コストとのバランスで実用的かどうか、品質が標準的なAttentionと比較して遜色ないかどうか、まだ検証が必要な点は多い。

それでも、「コンテキストウィンドウはいずれ無限に近づく」という方向性自体は疑いようがない。今日の制約を前提に設計したシステムが、数年後には陳腐化する可能性がある。今のうちから「コンテキストが事実上無制限になったとき、自分のシステムはどう変わるか」を考えておくことが、先を見据えた設計につながるはずだ。

出典: この記事は The context window has been shattered: Subquadratic debuts a 12-million-token window の内容をもとに、筆者の見解を加えて独自に執筆したものです。