AI 基礎設施
Megatron-LM、プレフィックス認識ルーティングと動的バッチ処理を拡張――ハイブリッドモデル推論でKV・Mamba状態の共有が可能に
NVIDIAは9月第1週のMegatron-LMの変更点をまとめ、データ並列推論フロントエンド、プレフィックスキャッシュ、可変長シーケンス処理を、より完全なサービング経路へと前進させた。新機能により、Transformer/SSMハイブリッドモデルの状態再利用が改善されるが、スループット、Time to First Token(TTFT)、クロスノードスケーリングに関するデータはまだ公式に公開されていない。