MoAI、32基のMI300X上でGLM-5.1を披露――異種GPUルーティングと推論の分離を単一サービスに統合

韓国のAIインフラ企業Morehは、AMD Advancing AI 2026の会場でMoAI Inference Frameworkを披露し、4ノード、合計32基のAMD Instinct MI300X GPUを使用してGLM-5.1のチャット推論を提供した。デモ画面は回答を出力するだけでなく、GPU使用率、1秒あたりのtoken数、最初のtokenが生成されるまでの時間（TTFT）、および出力tokenあたりのレイテンシ（TPOT）もリアルタイムで表示した。これにより、単一の平均速度だけを見るのではなく、プロンプト処理とtoken単位の生成のパフォーマンスを分けて確認できる。

MoAIは、データセンター向けの推論制御レイヤーとして位置付けられている。計算負荷が高く並列性の高いprefillと、メモリ帯域幅に制約されるdecodeを異なるGPUプールに割り当て、prefix cacheのヒット状況、リクエスト長、デバイス性能、Service Level Objective（SLO）に基づいてルーティングできる。公式ドキュメントに記載されたバックエンドエンジンには、Morehが変更を加えたvLLM、アップストリーム版vLLM、SGLangが含まれ、対応リストはNVIDIA、AMD、Tenstorrentのアクセラレーターにまたがる。関連コンポーネントのPerformance Gatewayはリクエストの振り分けを担い、MoAI Fabricはデバイス間のKV cache転送を処理する。今後提供予定のAutopilotは、トラフィックとレイテンシ制約に応じて並列化戦略とリソース構成を自動選択する計画だ。

この設計が注目に値するのは、企業のデータセンターでは複数世代、さらには複数ベンダーのアクセラレーターが併存することが多いためだ。既存のGPUをprefillや特定のリクエスト長のワークロードに活用できれば、単一モデルのためにハードウェアを全面更新するコストを抑えられる可能性がある。MorehのWebサイトでは、ベンダーをまたぐprefill-decode分離によってスループットが1.7倍になり、prefix cacheルーティングによってTTFTを最大20分の1に短縮できるとしている。ただし、これらの数値は異なる条件で得られたものであり、今回のGLM-5.1デモの結果と見なすことはできない。プレスリリースでは、モデル精度、量子化形式、バッチ分布、ネットワークトポロジー、実測TPSが公表されていない。そのため、現時点で実証されたのはシステムが稼働可能であることであり、公平に比較できる性能優位性が確立されたわけではない。今後は、公開されるデプロイ設定、フェイルオーバーの仕組み、そして異種ノード間のKV cache転送が長いコンテキストを扱うトラフィックで新たなボトルネックになるかどうかに注目すべきだ。