所有文章 · SURL AI News

DUMA-Bench 納入使用者互動測試，論文與程式庫分數仍待對齊

新基準以可變動環境與多輪對話，檢查代理在操作及回覆中是否違反安全規則。論文觀察到互動模式下更多違規，但公開結果存在數值差異，重現時須核對版本。

Fast Start 透過 CUDA IPC 重用已處理的權重，減少引擎重啟時的磁碟載入。零拷貝模式與 sleep mode 不相容，部署者也須驗證平行配置及快取回退行為。

新版把網頁、專用索引與資料供應商接入同一套代理取數流程。搜尋預設縮減工具資訊，客戶端須在執行前另外確認參數、費用與存取條件。

公開程式碼顯示，現行檢查點採本機 Git 與 JSON 儲存。舊版上傳管線移除已有官方紀錄及回報者查核，歷史資料去向仍待更多證據。

混合注意力模型的一份開發版回報顯示，單筆請求失敗後，排程器也觸發致命斷言。官方失敗策略原應限制於請求層級，目前尚無公開修補或跨環境驗證。

團隊以 GB300 NVL72 測量預填充與解碼分離配置，並提供版本資訊及配置庫。最高吞吐量與每人每秒約 180 個生成 token 來自不同配置，仍須依實際負載驗證。

Hugging Face 公布主分支的 GGUF 推論整合，讓壓縮權重沿用 Python 與 PyTorch 工作流程。初期支援集中於 Apple Silicon 與 Qwen3.5 架構，測速結果也有比較口徑差異。

新版縮小本機設定介面的可寫範圍，並調整遙測錯誤訊息的遮蔽順序。本機請求仍沿用既有信任模型，帶引號憑證的遮蔽疑點也尚待確認。

unalloc 整合叢集與模型帳單，研究測得不同計量方式讓同一租戶的費用占比相差約 12–14 個百分點。硬體驗證每個負載僅執行一次短測，結果不能視為正確分攤比例的定論。

Nous Research 更新 DirectSDK 外掛固定提交，修正空參數工具、思考設定與介面相容性問題。版本號仍維持 0.3.0，部署者須核對提交值及實際工具執行流程。

NVIDIA 以 Dynamo-Triton 與 TensorRT 執行 Cosmos 3 Nano，八卡生成延遲由單卡的 156.6 秒降至 34.2 秒。測試未涵蓋併發吞吐量與單片成本，品質驗證也僅採抽樣影格。

社群測試透過縮小注意力核心的鍵值區塊，提高 AMD 顯卡上的嵌入服務效能。變更仍屬提案，核心加速倍數、整體吞吐量與檢索品質須分別評估。