AI 基礎設施
NVLink 6 將鏈路重試、故障隔離與推論熱備援串成同一套復原堆疊
NVIDIA 公開 NVLink 6 的多層容錯設計，從實體層修正位元錯誤，一路延伸至 NMX 控制器與 Dynamo 推論程序。內部 B200 測試把故障後恢復雙 worker 服務的時間由 283 秒降至 7.3 秒，但檢查點工具及 NCCL 邊界案例仍在演進。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 基礎設施
最新模型
Firefox Smart Window 接入 Mistral Small 4，瀏覽器開始以可切換模型處理分頁脈絡
Mozilla 在美國、加拿大的Smart Window beta加入Mistral Small 4，並把法文版擴至法國，同時保留其他模型選項。119B參數MoE模型提供長上下文與推理模式，但零資料保留不代表本機推論，分頁內容的傳送邊界仍需實測。
代理工具
GitHub 以代理將 Copilot 執行階段改寫成 83 萬行 Rust，移除每客戶端的 Node.js 成本
Copilot 共用代理執行階段已從 TypeScript／Node.js 遷移至原生 Rust，可透過 C ABI 直接嵌入六種語言的 SDK。GitHub 的壓力測試顯示工作階段吞吐量增至每秒 120 次，但數字來自移除模型與網路延遲的內部測試。
最新模型
LimiX‑2 以聯合機制建模處理表格資料，單一 4 億參數模型橫跨三類任務
LimiX‑2 不再只估計條件式標籤，而是從合成因果資料學習特徵與目標的聯合結構。團隊公開權重與推論程式，但模型僅限非商業使用，領先數字也主要來自作者執行的表格基準。
代理工具
Foundry Toolkit 1.6.13 接入非 ACR 私有映像庫，並更換 Windows ML 執行階段
新版 VS Code 工具可從具連線設定的私有容器登錄部署託管代理，也加入 AMD NPU 版 Fara 7B 與 Aion 量化 adapter。Windows ML 升至 `windowsml` 2.3，既有專案必須檢查執行供應器及相依套件。
AI 基礎設施
FlashVector 把效能代理從 GPU 核心擴展到整條推薦模型服務堆疊
Unity 團隊提出 FlashVector，讓代理跨越 GPU 核心、計算圖、Triton 伺服器及特徵服務尋找效能瓶頸。正式環境測試最高提升兩倍吞吐量，但程式碼、修改軌跡及完整成本資料尚未公開。
推論系統
JustFit 壓縮並即時調度 KV 狀態，讓 24 GiB MacBook 跑完 21 萬 token 工作負載
JustFit 在 MLX 中結合四位元 KV、元件駐留管理與跨請求狀態轉換，讓 27B 模型在 24 GiB 統一記憶體完成長上下文推論。6.93 倍容量增幅來自單機特定模型測試，且部分歷史環境與檢查點身分尚不能完整重現。
推論系統
MLPerf Inference 6.1 新增端到端 RAG 與邊緣代理測試，基準開始計入完整推論管線
MLCommons 不再只測單一模型，把檢索、重排、生成及多輪代理工作納入 Inference 6.1。新版同時導入 API 型 client/server harness，預示資料中心評測將轉向更接近正式服務的 Endpoints 套件。
AI 基礎設施
SiFive 與 AMD 展示 RISC‑V 主機執行 ROCm 10，將 Gemma 推論卸載至 Radeon GPU
SiFive 在 BigSky 伺服器上以 P870‑D RISC‑V CPU 啟動 ROCm 10，並由 Radeon AI PRO R9700 執行 Gemma4‑E2B 推論。這證明非 x86、非 Arm 主機可接入 AMD GPU 軟體堆疊，但官方尚未公開效能、可重現映像或正式支援範圍。
推論系統
vLLM 以 Mooncake 跨節點串流隱藏狀態，為 2.8T Kimi K3 訓練 DSpark 草稿模型
vLLM 與 Red Hat AI 公開 Kimi K3 的 50 億參數 DSpark 草稿模型，以及跨節點抽取、傳送隱藏狀態的完整配方。官方測試把單一使用者生成速度由約 110 提至 435 token/s，但結果依賴 GB300 叢集與特定推理負載。
最新模型
Salesforce Koa 以工作流程規格生成訓練環境，將 CRM 工具操作寫入 120B 模型
Salesforce 以 Nemotron 3 Super 為底座，透過合成企業情境、SFT 與 GRPO 訓練首款 CRM 推理模型 Koa。它在多輪工具使用上明顯改善，但論文承認整體表現仍落後最強前沿模型，官方「錯誤少三倍」也來自自家 CRM 評測。
搜尋與推薦系統
Retrieve-for-Train 把搜尋時推理編譯進 5,390 萬參數擴散檢索器
Google Research 將強化學習產生的集合級搜尋策略，蒸餾成可平行輸出多個向量的輕量擴散模型。實驗宣稱比自回歸展開快 12 至 20 倍，但目前證據集中於時尚資料與未公開的音樂資料集。