FreeBalance、MoEの人気エキスパートを事前予測し、8基のA800でprefillレイテンシを最大13.1％削減

MoEサービングでは通常、異なるエキスパートを複数のGPUに分散配置する。routerが大量のtokenを同一rankに振り分けると、ほかのデバイスが先に処理を終えても、最も遅いノードを待たなければならない。従来のオンライン負荷分散は、ルーティング結果が確定してからエキスパートの重みを移動するため、データ転送が推論のクリティカルパスに入ってしまう。[FreeBalanceの論文](https://arxiv.org/abs/2608.14205)では代わりに、第ℓ−1層の出力に含まれる残差hidden stateを使って第ℓ層の既存routerを先行実行し、各エキスパートが受け取るtoken数を推定する。この予測は物理配置の決定にのみ使用され、正式なMoE計算では従来どおり本来のルーティング結果を使う。そのためlogitsを近似せず、モデルの意味論も変更しない。

システムは予測負荷に基づき、最も負荷の高いrankと最も低いrankの間でペア単位のexpert swapを計画する。コストモデルは、実測済みのattention処理時間、リンク帯域幅、起動レイテンシを利用して交換量を制限し、重み転送を次層のattention処理に隠すことを目指す。ペア単位の交換により、各GPU上のexpert数とメモリ使用量も維持される。各rankは、同一の統計情報と決定論的なソートを用いて計画を独自に再構築するため、完全な配置情報を別途ブロードキャストする必要はない。論文では、8基のNVIDIA A800-SXM4、EP=8、batch size 16、8K入力という構成で、Qwen3-30B-A3BとMoonlight-16B-A3Bを評価した。前者は[128個のエキスパートを備え、tokenごとに8個を有効化する](https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507)。

著者らによると、最大rank負荷と平均rank負荷の比率は32.8％低下し、end-to-endのprefillレイテンシは最大13.1％短縮された。また、層ごとに平均5.1個のエキスパートに相当する交換コストを隠蔽できた。LongBenchの各サブセットにおける改善幅は一様ではなく、混合タスクの効果も最良ケースを下回った。エンジニアリング面で今後確認すべき点としては、公開実装、decodeフェーズ、小さいbatch、ノード間InfiniBandのほか、H100やB200など計算性能と通信性能の比率が異なる環境が挙げられる。予測が外れても回答には影響しないが、誤ったエキスパートを移動して帯域幅を浪費する可能性は残る。