Atlas、純Rust／CUDA推論エンジンで単一GB10上のvLLMに挑み、高並行時のスループットで最大22.5％高速化

Atlas Inferenceは、DGX Sparkを使用した新たなベンチマーク結果を公開した。主役は、制御層をRust、コア部分をCUDAで実装したオープンソース推論エンジンだ。サービスのホットパスではPythonやPyTorchに依存せず、「ハードウェア、モデルアーキテクチャ、量子化形式」の組み合わせに応じて専用カーネルを構成し、OpenAI互換APIも提供する。コミュニティ版はAGPL-3.0を採用し、Contributor License Agreement（CLA）により、開発チームは別途エンタープライズ版をリリースできる。

今回のテストでは、単一のNVIDIA GB10と121.7GBのユニファイドメモリ上に`unsloth/Qwen3.8-27B-NVFP4`をロードした。入力長は128 token、出力長は1,024 tokenに固定し、Thinking Modeを無効化して決定論的デコーディングを採用した。AtlasとvLLMはいずれもK=4のMulti-Token Prediction（MTP）を使用し、さらにSpeculative Decodingを使用しないvLLM構成も比較対象として残した。各並行数では1回のウォームアップ後、3回の計測を実施した。Atlasの総スループットは、C=1からC=128までで23.59～478.11 token/sとなり、各並行数でより高速だったvLLM構成と比べて1.2～22.5％上回った。最大の差は128並行時に現れており、リクエストが蓄積する状況でもスケジューラとカーネルがスケールできることを示している。

エンジニアリング上の価値は、Pythonの起動オーバーヘッドを取り除くことだけではない。Atlasは、paged FP8 KV cache、Gated DeltaNet、MTP、NVFP4 dequantization、モデルレシピを、検査可能な単一のバイナリデプロイ経路に統合している。ワークステーション上で複数のエージェントリクエストを直接処理したいチームに適している。ただし、すべての数値はプロジェクト側が単一マシンで実施した自己ベンチマークによるものだ。また、短い入力と長い出力の条件では、100万token規模のコンテキスト、ツール呼び出し、Prefix Cacheのヒット率、テールレイテンシは検証されていない。MLPerf 6.1の結果も、MLCommonsによる公表を待つ段階にある。今後は、第三者による再現テスト、長コンテキストでの正確性、GB10以外のハードウェアでも優位性を維持できるかに注目すべきだ。