所有文章 · SURL AI News

ReCache 將工具 schema 拆成可重用 KV 區塊，配置記憶體減少 92.43%

ReCache 改寫注意力與位置編碼，讓不同請求可重用個別工具或技能的 KV cache。Qwen3 實驗顯示首 token 延遲最多加速 3.655 倍，但方法需要微調模型，尚非可直接套用的推論外掛。

騰訊微信與中科院團隊重寫 Hopper 稀疏注意力核心，加入 FP8、分頁 KV cache、連續批次及被裁剪區塊的均值補償。H20 測試的算子加速最高達 47.26 倍，但端到端收益較小，且目前整合依賴專案內附的 SGLang 分支。

新方法把推理結果分布視為分段平滑序列，以 PELT 找出真正決策點，再用 Dirichlet 核心池化抑制抽樣雜訊。兩款 8B 模型的實驗顯示可大幅減少重抽樣，但結論目前只涵蓋 tinyMMLU 選擇題。

NVIDIA 把原用於 GPU 核心演化搜尋的 AVO 代理架構移植至互動推理，搭配 Claude Opus 5 取得 100.00 RHAE。結果顯示代理記憶與驗證迴圈可大幅改變同一模型的表現，但只涵蓋公開環境，且與 VISTA 的比較不是受控消融。

Google DeepMind 將是否執行昂貴模型評分寫成「潘朵拉盒」搜尋問題，按資訊價值逐一決定是否加算評估。三種測試中，它都取得最低的平均路由遺憾加評估成本，但效果依賴已校準的訊號分布與成本設定。

Modular 在 Mojo 1.0 發布一週後，將 KGEN 編譯器、工具與標準函式庫以 Apache 2.0 加 LLVM 例外條款公開。原始碼已可檢視及自行建置，但編譯器暫不接受外部貢獻，MAX 亦維持獨立授權。

Waymo 首度披露 Robotaxi 的異構運算架構，自研 ASIC 負責即時整理相機、光達與雷達資料，再交給核心推論引擎。1,000 TOPS 未標示數值精度與功耗，不能直接與 NVIDIA 或 Tesla 的整車平台比較。

新研究把 NoThink、Short 與 Long 變成模型生成的首個 token，毋須另設路由器即可逐題分配推理預算。方法在 MATH-500 維持接近基礎模型的準確率，並在較簡單的 GSM8K 減少 76% token。

Axon 將模型架構寫成具符號張量形狀的函數式規格，再編譯至 PyTorch、Triton、JAX、MLX 與原生 vLLM。467 組推論測試顯示多數生成模型加速，但部分 BF16、編碼器及序列到序列模型仍出現精度或效能退化。

四個共享 Qwen2.5-0.5B 與同一 LoRA 的模組，只因注意力遮罩不同，便學出截然不同的組合策略。限制每個模組只能看到自己的證據片段，較容易形成可跨樣本移植的中間值通訊，但預先註冊的整體成功門檻仍以 0.0012 之差落敗。

MidTool-Mix 從網頁、PDF、程式碼與真實工具介面合成 203 億 token，讓模型在 SFT、RL 之前先學習工具邊界、參數與工作流程。配合相同 SFT 配方時，Qwen3-4B 的 BFCLv3 總分由 39.73% 升至 50.25%，但深度搜尋任務仍完全未解。

AFANet 把代理對話轉成含時間及同代理連線的圖，再以兩層 GCN 判斷故障代理與錯誤類型。它在 AEGIS-Bench 勝過多款 LLM 基線，但跨資料集的代理—錯誤配對 F1 仍偏低。