返回首頁

推論系統

Atlas 以同一推論核心提交 NVIDIA 與 AMD 的 MLPerf 邊緣代理測試,成績仍待解禁

Rust/CUDA 推論引擎 Atlas 已用 GB10 與 AMD gfx1151 系統提交 MLPerf Inference 6.1,測試對象是單加速器上的多回合工具呼叫。提交狀態已公開,但吞吐量與延遲成績仍受禁運限制,現階段不能據此判定跨硬件效能。

Own work · CC BY 1.0 · Image source
zh-Hant

Atlas Inference 8 月 24 日更新公開構建狀態,表示已在 NVIDIA GB10 與 AMD gfx1151 上提交 MLPerf Inference 6.1 closed-edge 測試。Atlas 是約 75MB 的單一二進位檔,主要服務路徑採 Rust 與自訂 GPU 核心,不依賴 Python 或 PyTorch;AMD 版本則透過 SCALE 相容層處理 CUDA 介面。專案宣稱兩個硬件目標使用同一套 CUDA 原始碼,但這不代表編譯結果、數值路徑或核心調校完全相同。Atlas 公開狀態頁亦明確標示效能數據尚未發布。

這次提交值得注意之處在工作負載,而非尚未揭曉的排名。MLCommons 的新 edge-agentic 規格以量化 Qwen3.6-27B、32K 服務上下文及單一並行請求測量工具型代理;正確性閘門取自 BFCL v4 約 995 個單回合案例,效能部分則重播 20 段、共 1,007 回合的代理程式設計軌跡。指標包括 TTFT、每輸出 token 時間及逐回合端到端延遲,較傳統只量 tokens/s 的測試更接近本機程式代理負載。MLCommons 規格還要求整體與類別平衡準確率均不得低於參考值的 97%。

Atlas 儲存庫已公開模型配方、KV cache 量化模式與回歸閘門;每次映像須通過啟動、輸出連貫性及相對既有基線不超過 10% 的效能退步檢查。公開程式庫目前列出的短提示速度不能替代 MLPerf 結果,因兩者的上下文、正確性要求與量測方法不同。工程團隊下一步應觀察正式成績是否包含功耗、各百分位延遲及可重現設定,也要核對 AMD 路徑是否真的維持與 GB10 相同的模型精度;在數據解禁前,「完成雙平台提交」只是可驗證的工程里程碑,不是勝出證明。

來源

  1. Atlas, pure Rust inference for DGX Spark
  2. Call for Submission: Edge Agentic Inference Benchmark for MLPerf Inference v6.1
  3. Avarok-Cybersecurity/atlas