推論系統
Atlas 以同一推論核心提交 NVIDIA 與 AMD 的 MLPerf 邊緣代理測試,成績仍待解禁
Rust/CUDA 推論引擎 Atlas 已用 GB10 與 AMD gfx1151 系統提交 MLPerf Inference 6.1,測試對象是單加速器上的多回合工具呼叫。提交狀態已公開,但吞吐量與延遲成績仍受禁運限制,現階段不能據此判定跨硬件效能。
Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
Rust/CUDA 推論引擎 Atlas 已用 GB10 與 AMD gfx1151 系統提交 MLPerf Inference 6.1,測試對象是單加速器上的多回合工具呼叫。提交狀態已公開,但吞吐量與延遲成績仍受禁運限制,現階段不能據此判定跨硬件效能。
代理工具
Common Lisp 程式代理 Autolith 在兩日內連發 0.36 至 0.38,加入標準 Agent Skills、Nous 與 Mistral 後端及跨平台發行包。其可恢復、可重播的自我修改設計提高可檢查性,但生成程式仍以使用者權限執行,不能視為安全沙盒。
推論系統
llama.cpp 0.2.0 正式以語意化版本標示較慢更新的穩定版,原有 `b[編號]` 標籤則保留為接近逐提交的開發構建。新制度降低 Debian、Homebrew 與下游綁定的版本風險,但「穩定」不代表長期支援或跨硬件完整驗證。
最新模型
一項獨立測試讓量化 Qwen3.8-27B 靜態分析未具名商業軟體,約 30 分鐘後產生可用的授權繞過程式。這只是無法完整重現的單次案例,卻顯示模型即使最初拒答,仍可能在長工具軌跡中逐步越過原有安全界線。
最新模型
Ox Alpha 以免費、長上下文及多模態代理介面在 OpenRouter 和 OpenCode 引起測試熱潮。OpenRouter 現行頁面明確表示匿名供應商會保留 prompts 與 completions,令早期「零資料保留」說法不適合用作生產環境依據。
最新模型
OpenAI 把 GPT-5.6 Sol API 輸入與輸出價格分別下調 20% 和 33%,優惠至少維持至 11 月 21 日。超過 272K 輸入後,整筆請求仍會套用較高費率,長上下文代理不能只看標準單價估算成本。
代理工具
MidTool 把 API、MCP、文件、程式碼與合成工作流放進預訓練後、SFT 前的專門階段。資料集與模型檢查點已公開,但深度搜尋測試仍為零分,顯示學懂 schema 不等於具備長程研究能力。
推論系統
FreeToken 不採固定卸載,而是按實測頻寬決定把未命中專家傳入 GPU 或直接交給 CPU 計算。論文亦展示單張工作站 GPU 服務 753B 模型,但完整權重仍需主記憶體,不能解讀成「753B 全放進一張卡」。
生成式視覺與 4D 重建
系統以固定長度參考上下文及擴散期間的視角重組,減少分批生成多視角影片時的結構漂移。權重與推論流程已公開,但完整開源 4D Gaussian Splatting 重建和低記憶體模式仍未完成。
最新模型
Marin 開始訓練總參數 535B、每個 token 啟用約 23B 的 MoE 模型,計畫使用 11 套 GB200 NVL72 處理約 18T 至 18.75T token。專案公開設定、縮放實驗與即時遙測,但模型品質、長上下文方案及最終 token 預算仍未定案。
推論系統
新版在啟動時並行處理 checkpoint staging 與 CUDA Graph capture,官方 H100 測試較普通預設流程快 2.38 倍。它也重寫部分張量並行通訊並加入七個模型家族,但 Torch 升級與快取路徑整併帶來遷移成本。
代理工具
Hume AI 與 Hugging Face 發現,若音訊與公開測試集答案衝突,部分高分語音模型仍會輸出參考稿內容。Open ASR Leaderboard 已加入 Benchmark Fitting 分頁,但這些行為不等同證明模型直接看過測試資料。