邊緣 AI
Atlas、RustとカスタムGPUカーネルでデスクトップ推論を狙い、NVIDIA・AMD横断のMLPerfベンチマークを提出
Atlasは検証可能な推論イメージを更新し、同一のカーネルソースを用いて、MLPerf Inference 6.1のEdge部門にGB10とAMD gfx1151の結果を提出した。正式な数値は依然としてembargoの対象であり、現時点で確認できるのはテスト方法と提出状況のみで、これを根拠にllama.cppを上回ると主張することはできない。
オープンソース推論エンジンのAtlasは7月24日に検証版を更新し、MLPerf Inference 6.1のclosed edge divisionにNVIDIA GB10とAMD gfx1151のベンチマーク結果を提出したことを確認した。このプロジェクトはRust、CUDA、およびプラットフォーム専用カーネルで構築されており、配布物はPythonやPyTorchを必要としない約2.5 GBの単一バイナリである。コミュニティ版はAGPLv3を採用し、別途商用ライセンスも提供する。主な対象はデータセンターにおける高並行処理ではなく、DGX SparkやStrix Haloなど、単一マシンのユニファイドメモリ搭載デバイス上で動作するローカルモデルおよびエージェント推論だ。
Atlasのリリースゲートでは、対応モデルが起動できること、出力の一貫性が保たれること、tool callingが機能することを確認する。また、スループットが提出済みのベースラインを10％超下回らないことも要件としている。関連するレシピと検証スクリプトはGitHubで公開されており、ユーザーは自身のハードウェアで再実行できる。ただし、プロジェクトのWebサイトが示す起動時間やユーザーの体感は、依然として標準化された比較の代わりにはならない。
今回の提出が注目に値するのは、MLPerfの新しいEdge Agenticワークロードが、もはや単一ターンのtokenスループットだけを測定するものではないためだ。このワークロードでは、量子化されたQwen3.6-27B、BFCL v4によるtool callingの正解率、1,007ターンのエージェントタスクのリプレイを用い、単一リクエストのTTFT、出力token当たりの時間、エンドツーエンドのレイテンシを測定する。これは、デスクトップエージェントがターンごとにコンテキストを蓄積していく実際のワークロードにより近い。
ただし、Atlasの正式な性能結果はまだ公開されておらず、Webサイトにもthroughput baselineはMLCommonsによる公開待ちであると明記されている。同じソースコードが2社のGPUで動作するからといって、基盤となるカーネルが完全に同一であることや、性能を直接比較できることを意味しない。エンジニアリングチームは、公開submission、消費電力データ、監査可能な設定を待つべきであり、長いコンテキスト、並行処理、tool callingの安定性をテストしたうえで、導入を評価する必要がある。