SQD、アテンション方式に応じてデコード処理を分割――亜二次モデル推論では密モデルの分離方式を踏襲せず

9月14日にarXivの最新バッチへ追加されたシステム研究によると、既存の分離型推論は主に密なTransformerを前提とし、prefillとdecode、またはattentionとFFNを異なるデバイスへ配置している。しかし、モデルがスパース、線形、あるいはスライディングウィンドウattentionを採用した場合、この分割方法がデータ移動量や演算強度に適合するとは限らない。

研究チームはSubQuadratic Disaggregation（SQD）を提案した。コンテンツベースのスパースattentionでは、KV cache全体を走査する必要があるtop-k選択を、選択された位置のみを処理するattentionおよびFFNから分離する。線形モデルとスライディングウィンドウモデルでは、少数の密なattention層を独立させ、残りの亜二次層とFFNをもう一方に配置する。重要なのは新たなattentionアルゴリズムではなく、層ごとに異なる動的ワーキングセットをスケジューラが認識できるようにする点だ。前者には大容量でインデックスアクセス可能なメモリが必要だが、後者のワーキングセットは比較的固定されており、SRAM型アクセラレータに適している。

調整を施した8基のB200による異種システムのプロキシ環境では、最も強力なGPUのみのベースラインと比較して、GLM 5.2、Nemotron 3 Ultra、Gemma 4 31Bでtokens/Jが平均してそれぞれ53%、31%、56%向上した。また、固定電力のRubin＋LPX分析モデルによる推定では、既存のattention–FFN分離方式に比べてレイテンシ境界を1.2～1.5倍改善でき、スループットは最大3.6倍に向上した。

エンジニアリング上の意味は、亜二次attentionによって、サービングフレームワークがprefillとdecodeを識別するだけでなく、「モデルアーキテクチャ」をハードウェア配置に反映せざるを得なくなる可能性があることだ。ただし、現時点の結果はプロキシプラットフォームと分析モデルを組み合わせたもので、論文ページにも公開コードは記載されていない。デバイス間通信、バッチサイズの変動、top-kのインデックス作成コスト、実環境でのテールレイテンシについては、実際のRubin／LPXまたは同等クラスのハードウェアで再現する必要がある。