推論系統
KVDiagnosis 逐筆追查 KV 快取壓縮失敗,公開 12,520 筆正確轉錯誤案例
KVDiagnosis 不只比較長上下文總分,而是為每種壓縮設定建立 FullCache 配對,追蹤證據保留、注意力及機率漂移。團隊亦因實作稽核排除 7,800 組結果完全相同的 PyramidKV 紀錄,凸顯跨方法評測容易被轉接器錯誤污染。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
推論系統
KVDiagnosis 不只比較長上下文總分,而是為每種壓縮設定建立 FullCache 配對,追蹤證據保留、注意力及機率漂移。團隊亦因實作稽核排除 7,800 組結果完全相同的 PyramidKV 紀錄,凸顯跨方法評測容易被轉接器錯誤污染。
AI 安全
SHE 把代理安全外殼拆成系統提示、規則庫、安全記憶與工具政策,再依失敗軌跡局部修訂。它在 Agent-SafetyBench 同時降低攻擊成功率與誤拒率,但真實部署仍須防範評分器偏差及規則自我膨脹。
最新模型
新研究指出,從自回歸模型改造而來的擴散式 LLM,可能連同集中在少數神經元的安全機制一起繼承。研究者亦用開放擴散模型離線生成攻擊提示,但承諾的完整程式尚未發布。
推論系統
社群公開可重現的 vLLM 配方,以四張 24GB RTX 3090 部署 Laguna S 2.1 INT4,並用精度匹配的 DFlash 草稿模型跑過 190K-token 實際請求。282.5 token/s 是特定設定下的峰值而非持續吞吐,低位元量化的品質與相容性也仍高度依賴 checkpoint 和執行引擎。
PTQ4SNN 把脈衝神經網路長期保留的浮點膜電位納入後訓練量化,按通道配置 2、4 或 8 位元。論文在分類與語意分割上接近浮點模型,但硬體收益仍來自分析模型,且專用程式尚未公開。
代理工具
SkillProx 不直接保留模型提出的技能修改,而是重新執行任務、回滾退步版本,再刪除效用為負的知識單元。三款 Qwen 模型在表格任務均獲得增益,但作者目前只公開兩次提交的空殼儲存庫。
RAG/文件理解
DocMemo 不把首次檢索的 top-k 頁面視為定案,而是把推理回饋寫回頁面相關性分布並重新取樣。三層記憶在長文件問答帶來增益,但評分依賴 GPT-4.1,公開儲存庫也仍相當精簡。
代理工具
上海人工智慧實驗室公開 A²E,以 Agent Task Protocol 解耦基準、代理外殼與軌跡評分。1,035 次配對實驗顯示外殼會改變工具使用與 token 成本,但樣本量不足以支撐框架排行榜。
代理工具
TEPA 為長期記憶加入可撤銷的有效狀態,讓被新證據推翻的內容退出一般檢索但保留稽核紀錄。方法能修復單跳衝突,遇到多跳或 262K 長上下文時卻幾乎失效。
RAG 與金融 AI
FinRank 要求系統從 SEC 文件找出公司、期間及披露語境都正確的證據,而不只產生數值正確的答案。資料集與評測程式已公開,但非商業授權及標註限制會影響採用方式。
代理工具
Orcetra 原稱在 513 套 OpenML 資料上大幅勝過 FLAML 與 AutoGluon,但作者稽核後發現測試集洩漏及算力不對等。修正協定後,三套系統在重跑子集已無統計顯著差異。
代理工具
Google 團隊讓 Gemini 3.5 Flash 在模擬患者、文件工具與多維臨床獎勵中接受多輪強化學習。模型在對抗問診中減少漏看危險徵兆,但訓練系統未開源,也尚未完成真實患者的前瞻驗證。