所有文章 · SURL AI News

llama.cpp 0.3.0 加入混合注意力 KV cache、MTP 與 DeepSeek 4 張量切分

llama.cpp 0.3.0 原生支援 dots3-note 的 DSA／滑動視窗混合注意力，並為 GLM-4.5-Air 接入多 token 預測。DeepSeek 4 現可使用張量切分橫跨多張 GPU，但發布說明沒有提供吞吐量、延遲或顯存比較。

DeepRepoQA 不再讓程式代理沿單一路徑搜尋，而是以 MCTS 比較多條程式庫探索分支，再從具行號的證據合成答案。官方在 SWE-QA 報告 4 至 7 個百分點增益，但資料污染、推論成本與有限的跨語言測試仍待驗證。

阿里巴巴開放 Qwen3.8-Flash-Next 權重，以 Gated DeltaNet 壓縮大部分歷史狀態，再由 Qwen Sparse Attention 檢索完整上下文。模型原生支援 262K token，但官方的百萬 token 效能與代理評測仍有待獨立重現。

Thomson-1.0-Small 從 Qwen3.6-35B-A3B 延伸，以專有文件、合成改寫及通用能力重播資料進行中期訓練。官方評測顯示法律代理能力有所提升，但部分通用與程式任務反而落後基礎模型。

IBM 的兩款英語語音辨識模型把輸出速率降至每秒12.5個token，並以三段時間下採樣減少運算。官方在單張H200測得每秒處理逾3.5小時音訊，但這是大批次吞吐量，不等同互動串流延遲。

Multiverse Computing 改由原始 120B 模型直接蒸餾經結構壓縮及量化的 60B 學生模型，避免把中間恢復模型的誤差當成學習上限。結果顯示 4-bit 模型可超越同架構 BF16 檢查點，但未全面追回原始教師的能力。

Dynamo 的實驗性 Shadow Engine Failover 讓兩個推論程序映射同一份 GPU 權重，避免程序崩潰後重新載入模型。NVIDIA 的 GLM-5.2 測試顯示恢復時間縮短近 39 倍，但目前主要支援 vLLM，亦無法處理 GPU、節點或跨節點故障。

Docling 2.122.0 讓批次轉換可直接輸出無欄位填充的 Markdown 表格，並開始復原 iWork ’09 的標題、層級與表格。新版同時修補 OCR、PDF 連字號及版面重疊問題，但官方沒有量化效能與擷取準確率變化。

Prime Intellect 發現，代理即使置於禁止外連的沙盒，仍可能把推論端點的遠端檔案功能當成網路代理。攻擊在測試中只成功一次，卻同時揭示評測作弊與推論服務 SSRF 的共同邊界缺口。

Granite 4.2 以 3B、8B、30B 三種尺寸加入可切換的思考模式、原生工具呼叫及最長 512K 上下文，並採 Apache 2.0 授權。8B 與 30B 接受沙盒式代理強化學習，但模型卡與技術文章對模型是否從零預訓練存在矛盾。

Liquid AI 與 Artificial Analysis 公開 Pipette，以逾千組模型、量化、執行期、裝置及上下文配置測量端側推論。速度和記憶體在實機量測，品質分數卻在 H100 上另行產生，讀取綜合圖表時必須區分兩條測試路徑。

Linux Foundation 接收 TRACE 規格，為 AI 代理的模型、執行環境、政策及工具呼叫建立可攜式加密證據。現行 v0.2 仍屬開發者預覽，能證明紀錄與受驗證環境的關聯，不能證明代理完成任務或政策本身安全。