推論系統
Yutori 披露瀏覽器代理推論架構：100K 長輸入配短工具輸出，靠前綴快取壓低每步成本
Yutori 的 Navigator 每項瀏覽器任務會連續呼叫視覺語言模型數十次，歷史上下文最長可增至約 100K token。Together AI 以 vLLM 前綴快取及分流延遲目標承載這種負載，但兩倍速度與低四至五倍成本仍是供應商披露的比較結果。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
代理工具
Hermes Agent 0.20.5 加入五供應商無金鑰搜尋，排程任務可獨立設定推理強度
Nous Research 將無金鑰網路搜尋、排程記憶與執行停滯防護收進 Hermes Agent 0.20.5。這次標為修補版，卻合併約 323 個 PR，完整遷移說明仍要等 0.21.0。
推論系統
Diffusers 0.40 將 Modular Pipeline 轉為穩定 API，同時移除 JAX／Flax
Hugging Face 讓 MiniMax H3、MiniMax Music 3 及 Wan-Animate-2 直接以可組合區塊接入，不再提供傳統 DiffusionPipeline 封裝。新版也加入有限的 tensor parallel、低位元量化後端及安全修補，但帶來 Flax 移除與 LoRA 輸出變動。
推薦系統
NVIDIA 生成式推薦堆疊重寫 KV 與 beam search，5K 上下文推論快 2.27 倍
NVIDIA 將 HSTU、動態 embedding 與 Semantic ID 生成式推薦整理成可執行的 PyTorch 參考堆疊。它針對「長歷史、只生成數個 token、beam width 極大」的推薦負載重寫快取及解碼路徑，但數據目前限於 NVIDIA 硬件與合成配置。
推論系統
LFM2.5 加入 DSpark 草稿模型，H100 解碼吞吐量最高提高 3.18 倍
Liquid AI 為三款 LFM2.5 模型釋出約 3 億參數的 DSpark 草稿檢查點，並接入 llama.cpp 與 SGLang。官方測試顯示加速幅度會隨模型、資料分布及硬件大幅變動，不能把峰值直接視為所有工作負載的收益。
代理工具
AI4AI-Bench 要代理重寫十類訓練演算法，最佳系統平均分僅 0.250
AI4AI-Bench 把調參與真正改變學習方法分開評估，要求程式代理提交可由零重跑的訓練程式碼。六套系統的 290 次測試中，逾四成表現不及原始演算法，增加推理強度主要只是令代理更願意觸碰核心訓練機制。
AI 基礎設施
NVIDIA DSX MaxLPS 動態調配機櫃功率，GB200 每瓦推論效能提高 1.5 倍
DSX MaxLPS 以即時遙測重新分配閒置功率，NVIDIA 測得 GB200 NVL72 機櫃的配置功率可由 125 kW 降至 90 kW而維持吞吐量。方案還結合工作負載功率設定與 45°C 液冷，但核心 Dynamic Power Software 仍處於 Developer Preview。
推論系統
FormalTCS 以 175 個 Lean 題目測試研究流程，自動形式化最高僅 11.5 分
FormalTCS 從近兩年頂級理論計算機科學論文抽取研究級問題，逐段測量模型由自然語言主張產生機器可驗證證明的能力。最佳模型在證明既有形式化定理時達 28.6 Pass@8，但將自然語言轉成正確 Lean 定理陳述仍是主要瓶頸。
推論系統
Daedalus-150M 以卷積取代三分之二注意力層，2K 上下文 CPU 解碼加速 1.76 倍
Daedalus-150M 專為單使用者、4-bit CPU 推論設計，讓多數網路層不必反覆讀取持續增長的 KV cache。初步結果顯示速度優勢會隨上下文增加，但模型只有 2K 上限，效能數字也仍待跨硬體獨立重現。
代理工具
NemoClaw 0.0.113 強化本地推論驗證，沙盒重建後可重發 MCP 憑證
NVIDIA 更新開源代理執行堆疊，重點處理 vLLM、llama.cpp、Ollama 與模型路由器的狀態漂移。新版也收緊沙盒生命週期、映像來源證明及失敗復原，但仍是快速迭代中的修補版本。
Task-CoEvolve 只抽 20% 驗證任務，harness 搜尋 token 成本降低 67% 至 80%
Task-CoEvolve 依候選 harness 的歷史分歧動態挑選驗證任務，再以抽樣機率估算全體成績。它在 Terminal-Bench 2.1 接近全量搜尋表現，但論文沿用同一批任務搜尋與評分，且程式尚未實際釋出。
推論系統
KeysAndValues 讓 4B 模型用固定 32K KV cache 微調 128K 上下文
新方法讓模型在微調時直接適應 H2O 等 KV 淘汰策略，部分 128K 任務的準確率由約 20% 至 64% 提高至逾 90%。但自然問答結果並非全面領先，開源實作也仍定位為研究工具。