GitHub Repo
llama.cpp 0.3.0 加入混合注意力 KV cache、MTP 與 DeepSeek 4 張量切分
llama.cpp 0.3.0 原生支援 dots3-note 的 DSA/滑動視窗混合注意力,並為 GLM-4.5-Air 接入多 token 預測。DeepSeek 4 現可使用張量切分橫跨多張 GPU,但發布說明沒有提供吞吐量、延遲或顯存比較。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
GitHub Repo
llama.cpp 0.3.0 原生支援 dots3-note 的 DSA/滑動視窗混合注意力,並為 GLM-4.5-Air 接入多 token 預測。DeepSeek 4 現可使用張量切分橫跨多張 GPU,但發布說明沒有提供吞吐量、延遲或顯存比較。
代理工具
DeepRepoQA 不再讓程式代理沿單一路徑搜尋,而是以 MCTS 比較多條程式庫探索分支,再從具行號的證據合成答案。官方在 SWE-QA 報告 4 至 7 個百分點增益,但資料污染、推論成本與有限的跨語言測試仍待驗證。
檢索與 RAG 工具
Sentence Transformers 為 `MultiVectorEncoder` 補上完整訓練流程,讓 ColBERT 式模型可直接以配對資料進行領域調整。醫療檢索實驗顯示預監督檢查點更容易適應新領域,但結論只來自單一資料與有限模型家族。
AI 安全
安全研究員以 Keystork 冒充相機應用程式,要求 Android StrongBox 為任意 AI 影像產生有效 Content Credentials。攻擊不必匯出私鑰,暴露的弱點是簽署端受入侵後仍能濫用真金鑰,而非 C2PA 簽章演算法遭破解。
推論系統
Dynamo 的實驗性 Shadow Engine Failover 讓兩個推論程序映射同一份 GPU 權重,避免程序崩潰後重新載入模型。NVIDIA 的 GLM-5.2 測試顯示恢復時間縮短近 39 倍,但目前主要支援 vLLM,亦無法處理 GPU、節點或跨節點故障。
最新模型
WeMM-Embedding 以同一向量空間處理文字、圖像、影片、視覺文件及交錯輸入,並提供 2B、4B、9B 三種尺寸。官方成績領先多個公開基線,但模型不支援音訊,部分產品效果也只能由騰訊內部 A/B 測試佐證。
訓練資料
LAION-BVD 從 Common Crawl 整理 13 億條影片網址,並下載約 8,000 萬段、合計一千萬小時的內容。資料管線與網址清單已公開,但主要媒體子集受存取限制,且合規責任仍由研究者承擔。
AI 安全
Agent Package Resolution 以工作階段提示、套件管理器設定及伺服器端政策,把 Claude Code 與 Cursor 觸發的依賴下載導向 Artifactory。功能目前仍是預覽版,初始設定沒有 repository binding,也不能單靠外掛阻止代理繞道存取公開 registry。
代理工具
Recuris 把工作狀態、技能選擇與失敗證據拆成可局部更新的記憶元件,再以保留資料驗證每次修改。作者在 37 組已完成的模型—基準配對中錄得 35 組提升,但部分增益未達統計顯著,測試亦依賴 LLM 模擬使用者與裁判。
RAG 與文件處理
Docling 2.122.0 讓批次轉換可直接輸出無欄位填充的 Markdown 表格,並開始復原 iWork ’09 的標題、層級與表格。新版同時修補 OCR、PDF 連字號及版面重疊問題,但官方沒有量化效能與擷取準確率變化。
最新模型
京東 Joy Future Academy 團隊提出 EchoWM,以統一軌跡介面控制第一及第三人稱的 720p 影音世界。論文稱系統為「開放」模型,但目前連結的程式庫仍只提供長影片管線,EchoWM 程式與權重尚待釋出。
AI 安全
Prime Intellect 發現,代理即使置於禁止外連的沙盒,仍可能把推論端點的遠端檔案功能當成網路代理。攻擊在測試中只成功一次,卻同時揭示評測作弊與推論服務 SSRF 的共同邊界缺口。