MoEルーターでキャッシュミスを60%削減するも、パープレキシティ劣化1%の基準を満たせず

GPUメモリがモデルの重みよりはるかに小さい場合、MoEの理論上のアクティブパラメータ数の少なさは、データ転送量の少なさを意味しない。各tokenで選択された専門家を、RAMまたはSSDからGPUへ読み込まなければならない可能性があるためだ。新たな研究では、8GB GPU上で134GBのQ4_K_M量子化版Qwen3-235Bを実行し、ウォームアップ後のデコード速度がわずか0.44 token/sであることを測定した。この結果は、「token当たりに必要なバイト数を実測帯域幅で割る」というモデルと一致した。当初はbatch全体でSSDスキャンのコストを分担することが期待されていたが、batch 32ではページングのスラッシングによって、かえって処理が破綻した。

著者らはさらに、モデルを変更せずにQwen3-30Bのルーティング判断を取得する`llama-moe-trace`を開発した。測定の結果、隣接するtokenが同じ専門家を再利用する確率は、ランダムベースラインのおよそ2倍だった。トラフィックの95%が専門家の52.5%に集中しており、専門家の13.4%しか収容できないLRUキャッシュでも、リクエストの66%を処理できた。これは、既存のルーティングにも活用可能な局所性が備わっている一方、SSDの帯域幅ボトルネックを解消するには不十分であることを示している。

続いて研究チームは、事前登録した条件に従って137M MoEを学習し、局所性損失とドメインルーティング損失を追加した。この仕組みにより、キャッシュミスは実際に最大60%減少し、一部の静的な固定方式では99%のヒット率に達した。しかし、すべての設定が「パープレキシティの悪化を1%以内に抑える」という品質基準を満たせなかった。340Mでの実験でも、規模の拡大によってこのコストが解消されることは示されなかった。学習済みの局所性と、推論時のキャッシュ認識型再ルーティングを組み合わせると、2種類のモデル規模でミス率を約80%削減できたが、その代償として最大3.4%のパープレキシティ悪化が生じた。

これは価値のあるネガティブリザルトだ。エッジ環境へのMoE導入では、ルーターをコストなしでキャッシュしやすくできると仮定してはならない。ただし、学習実験のモデルは測定対象の30B／235Bモデルよりはるかに小さい。また、キャッシュミスの減少についても、完全なレイテンシ、消費電力、異なるSSDを用いたエンドツーエンドの結果は提示されていない。エンジニアリング上は、階層的配置、プリフェッチ、量子化、CPUによる直接計算などの代替手法との比較が引き続き必要になる。