Microsoftは、オンプレミス環境で完結するAI推論基盤「Foundry Local on Azure Local」の機能を強化し、複数ノードで構成するKubernetesクラスタ上での推論スケーリングと、高速推論ランタイム「vLLM」への対応を追加したと発表した。GPUリソースを自動的に最適化するチューニングプランナーや、複数レプリカ間でリクエストを振り分けるルーティング機能も新たに加わり、金融・医療・官公庁など機密データを外部に出せない業種向けの「ソブリンAI」基盤としての完成度を高めている。

Foundry LocalとAzure Localとは何か

Azure Localは、旧Azure Stack HCIの後継にあたるオンプレミス向けハイパーコンバージド基盤で、Azure Arcを通じてクラウドと同じ管理体験をデータセンター内で実現する製品だ。Foundry Localは、その上でAzure AI Foundryと同等のモデルカタログ・推論APIをインターネット接続なしで動かせるようにしたコンポーネントで、小規模言語モデル（SLM）やオープンウェイトモデルをオンプレミスのGPUサーバー上で運用できる。

今回の機能強化のポイント

  • マルチノードKubernetesクラスタでの推論スケーリング: 従来は1台のGPUサーバーの能力に縛られていた推論処理を、複数ノードに分散して負荷に応じて拡張できるようになった
  • vLLMランタイム対応: PagedAttentionなどの技術で高スループットを実現するOSSの推論エンジンvLLMを、Foundry Local上で選択できるようになった
  • GPU向け自動チューニングプランナー: 搭載GPUとモデルの組み合わせに応じて、バッチサイズやメモリ配分などのパラメータを自動的に最適化する
  • マルチレプリカ向けリクエストルーティング: 複数のモデルレプリカにリクエストを適切に振り分け、可用性とスループットを両立させる

いずれも、単体サーバーでの検証段階から、本番運用に耐えるスケールアウト構成への橋渡しとなる機能群だ。

なぜ「ソブリンAI」が必要なのか

生成AIの業務活用が進むほど、金融業界のガイドラインや医療情報の外部持ち出し制限、防衛・自治体の機密情報保護など、データを国内・自社ネットワーク境界の外に出せない要件との衝突が表面化している。Foundry Local on Azure Localは、推論処理そのものをオンプレミスで完結させることで、この種の規制要件と生成AI活用の両立を狙った基盤だ。

実務への影響

日本のIT管理者にとって重要なのは、この強化がAzure ArcやMicrosoft Entra IDによる一元管理を維持したまま、オンプレミスでのAI推論をスケールできる点だ。クラウドとオンプレミスで別々の管理体系を持つ必要がなく、ガバナンスの一貫性を保てる。

PoC段階では単一ノードで十分でも、本番投入後にユーザー数やモデルサイズが増えるケースは多い。マルチノード構成への移行はネットワーク設計やGPUキャパシティプランニングを後から作り直すコストが大きいため、要件定義の段階からスケールアウトを見込んだ設計を検討しておくことを勧める。また、vLLM対応により、Llama・Phi・Mistralといったオープンウェイトモデルをオンプレミスで効率よく動かす選択肢が広がる点も、コスト最適化を検討する材料になる。

筆者の見解

Azureというプラットフォームへの信頼は、この手の機能強化を見るたびに揺らがないと感じる。Foundry Local on Azure Localは、AIモデルそのものの優劣を競う土俵ではなく、「どのAIを、どこまで安全に、どこで動かすか」を統制する基盤としての価値を積み上げる動きだ。Entra IDやArcによる一元管理を保ったまま、オンプレミスでもクラウドと同じ運用体験を提供できる点は、地に足の着いた正攻法だと思う。

一方で、こうした細かい機能を逐一追いかける意味は正直薄れてきているとも感じる。マルチノード対応やvLLM対応といった個々の機能よりも、「オンプレミスでも安全にAIを回せる基盤がある」という大枠を押さえておき、あとは実際に手を動かして試す方が学びが早い。

この基盤の価値をさらに引き出せるかどうかは、今後どこまでモデル選択の自由度を広げられるかにかかっている。オープンウェイトモデルへの対応だけで終わらせるのはもったいない。プラットフォームとしての力があるのだから、そこにもう一段踏み込んでこそ、ソブリンAI要件を抱える企業から正面から選ばれる基盤になるはずだ。

出典: この記事は Build, deploy, and govern sovereign AI with Foundry Local on Azure Local の内容をもとに、筆者の見解を加えて独自に執筆したものです。