所有文章 · SURL AI News

KeysAndValues 讓 4B 模型用固定 32K KV cache 微調 128K 上下文

新方法讓模型在微調時直接適應 H2O 等 KV 淘汰策略，部分 128K 任務的準確率由約 20% 至 64% 提高至逾 90%。但自然問答結果並非全面領先，開源實作也仍定位為研究工具。

ReCache 改寫注意力與位置編碼，讓不同請求可重用個別工具或技能的 KV cache。Qwen3 實驗顯示首 token 延遲最多加速 3.655 倍，但方法需要微調模型，尚非可直接套用的推論外掛。

騰訊微信與中科院團隊重寫 Hopper 稀疏注意力核心，加入 FP8、分頁 KV cache、連續批次及被裁剪區塊的均值補償。H20 測試的算子加速最高達 47.26 倍，但端到端收益較小，且目前整合依賴專案內附的 SGLang 分支。

新方法把推理結果分布視為分段平滑序列，以 PELT 找出真正決策點，再用 Dirichlet 核心池化抑制抽樣雜訊。兩款 8B 模型的實驗顯示可大幅減少重抽樣，但結論目前只涵蓋 tinyMMLU 選擇題。

Google Cloud AI Research 等團隊把代理 harness 的概念套到環境端，以可組合介面層改變起始狀態、可見資訊及任務流程。開源實驗涵蓋五套基準，最高提升 9 個百分點，但重現完整結果仍需要多種外部環境與商用模型 API。

Nsight AI 現在可把即時 CUDA 文件接入 Codex、Claude 等 MCP 用戶端，或在本地部署完整的程式輔助後端。開源 Blueprint 結合生成、補全、嵌入及重排模型，但參考配置需要 Hopper 級 GPU 與至少 200GB 儲存空間。

Anthropic 的新版工具可在一次模型回合執行多個介面動作，並結合頁面結構、可版本化技能及持久檔案。既有 beta 整合仍可運作，但升級電腦操作工具會改變請求格式，工程團隊也須自行處理瀏覽器隔離與提示注入風險。

PolicyGuide 不只在工具呼叫前阻擋違規動作，而是在每個使用者回合追蹤尚未完成的政策步驟。它在三個 τ²-bench 領域提高可靠成功率，但每回合增加一次 LLM 驗證，且程序合規指標部分由作者自行設計。

Google DeepMind 將是否執行昂貴模型評分寫成「潘朵拉盒」搜尋問題，按資訊價值逐一決定是否加算評估。三種測試中，它都取得最低的平均路由遺憾加評估成本，但效果依賴已校準的訊號分布與成本設定。

Modular 在 Mojo 1.0 發布一週後，將 KGEN 編譯器、工具與標準函式庫以 Apache 2.0 加 LLVM 例外條款公開。原始碼已可檢視及自行建置，但編譯器暫不接受外部貢獻，MAX 亦維持獨立授權。

新研究把 NoThink、Short 與 Long 變成模型生成的首個 token，毋須另設路由器即可逐題分配推理預算。方法在 MATH-500 維持接近基礎模型的準確率，並在較簡單的 GSM8K 減少 76% token。

一項跨九款模型、三套長流程評測的研究顯示，從完整任務歸納的技能通常令代理退步，從子任務歸納則平均帶來增益。自然語言流程筆記也比可執行 Python 技能更穩定，但效果仍高度依賴模型與評測。