所有文章 · SURL AI News

KoboldCpp 1.120 新增 DirectIO 載入模式，mmap 與 mlock 可同時啟用

新版為大型 GGUF 權重加入 `--usedirectio`，並允許以 mmap 映射模型時鎖定相關記憶體頁。它也支援 Qwen3.8-Flash-Next、Ling-3.0-flash 與自訂 JavaScript 工具，但官方尚未公布載入速度或記憶體基準。

Sopro V2 Turbo 將 500M 教師蒸餾至 120M 參數，再以 reflow 把聲學求解從 32 步縮為兩步。模型可在 M3 CPU 約 300 毫秒輸出首段音訊並支援瀏覽器推論，但目前只有四種歐洲語言且未公開訓練程式。

Google 與普渡大學研究者讓代理每一步只讀取固定技能、目前狀態與最新觀察，驗證狀態更新後立即捨棄推理歷史。在百步倉儲測試中，它以 65,408 token 取得 0.94 準確率，但成效依賴預先設計的狀態結構能保留未來所需資訊。

騰訊公開 Hy4 Preview 的 Apache 2.0 權重、FP8 版本及 vLLM、SGLang 部署配方，模型每個 token 從 770B 參數中啟用約 49B。它支援 100 萬 token 上下文，但品質與自我最佳化成效目前仍主要來自騰訊內部評測。

llama.cpp b10687 針對 Snapdragon X2 與較舊 A7X GPU，避開 OpenCL 編譯器選中的低效矩陣乘法路徑。維護者測得 gpt-oss-20b 與 Gemma 3n 的提示預填分別加速約 20% 至 25% 及 9%，但逐 token 解碼並未變快。

FastVideo 以 DMD2 蒸餾與 90% 稀疏注意力，把基礎模型的 49 次 DiT 呼叫縮減為四次，並公開完整權重與 LoRA。即時生成數字依賴八張 B200、專用 VSA 核心及暖機後測試，單卡與一般消費級 GPU 尚未達到同等速度。

NVIDIA 在 0.0.113 強化本地推論與狀態漂移驗證後，再把沙箱、推論服務及生命週期權限綁定至可持久驗證的身分，避免重試或復原操作接管同名但不同的執行環境。

CritICL 先離線整理小模型的錯誤、失敗類型與批評，再把相關案例放入大模型提示，而非為每題反覆採樣。作者在 Qwen2.5 數學測試報告略高於 self-consistency 的準確率，但離線建庫成本與尚未釋出的程式碼限制了可重現性。

PILOT 以雙向通道連接監督者與工作代理，允許前者在長任務尚未結束時提供指示或中止錯誤路徑。作者在三項代理基準報告準確率與 token 效率提升，但「自我改進」只更新 harness、技能與記憶，沒有修改模型參數。

Puro-2B 把兩階段資料課程、區塊式 FP8 與 MuonH 最佳化整合到消費級 GPU 叢集。作者報告 4,370 美元的縮短訓練版本已超越 Qwen2-1.5B 平均分，但成本只計加速器租用等價值。

TTPO 不把多數決答案直接當真，而是蒸餾與共識一致的軌跡，再以群組強化學習懲罰高信心的分歧錯誤。作者報告 Qwen3-1.7B 在三項數學競賽的 Avg@12 由 38.0 升至 45.2，但這仍是直接使用測試題更新參數的轉導式設定。

Prefix Sliding 在生成期間淘汰中段推理 token，只保留系統提示、任務前綴及最近數千個 token，毋須重新訓練即可套用。研究報告長推理的整體思考時間可縮短約三倍，但現有實作依賴分支版 vLLM 與 FlashAttention，短輸出及需回看早期細節的任務收益有限。