最新模型
ICBQ 重查量化區塊接縫，Qwen3‑8B 的三值模型困惑度由 5752.9 降至 29.9
ICBQ 不更換量化器，而是讓相鄰 Transformer 區塊的邊界接受第二次聯合校正，減少早期誤差沿深度累積。品質改善的代價是量化時間平均增加 21%，且作者尚未釋出實作。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
最新模型
Matryoshka 將三種模型嵌入單一權重，訓練算力減少 36%
Matryoshka Language Model Suites 將 500M、1.5B 與 3B 子模型串成可獨立截取的巢狀架構，避免為每個尺寸重複訓練。共享前段層與 KV 快取亦令推測解碼吞吐提高 14% 至 26%，但目前只在 3B 級基礎模型驗證。
推論系統
Tevatron-Elastic 用單一檢索 checkpoint 調節深度、token 與向量寬度
Tevatron-Elastic 將早退、Matryoshka 向量及層間 token 壓縮統一成可設定的 operating point，一個 checkpoint 可服務多種成本配置。Qwen3‑0.6B 重排序器在第 16 層維持完整品質，同時於作者測試環境加速 1.75 倍。
推論系統
KVDiagnosis 逐筆追查 KV 快取壓縮失敗，公開 12,520 筆正確轉錯誤案例
KVDiagnosis 不只比較長上下文總分，而是為每種壓縮設定建立 FullCache 配對，追蹤證據保留、注意力及機率漂移。團隊亦因實作稽核排除 7,800 組結果完全相同的 PyramidKV 紀錄，凸顯跨方法評測容易被轉接器錯誤污染。
推論系統
Laguna S 2.1 INT4 搭 DFlash，四張 RTX 3090 實測 200K 上下文與峰值 282.5 token/s
社群公開可重現的 vLLM 配方，以四張 24GB RTX 3090 部署 Laguna S 2.1 INT4，並用精度匹配的 DFlash 草稿模型跑過 190K-token 實際請求。282.5 token/s 是特定設定下的峰值而非持續吞吐，低位元量化的品質與相容性也仍高度依賴 checkpoint 和執行引擎。
PTQ4SNN 同時量化權重與膜電位，事件分類僅損失 1 個百分點
PTQ4SNN 把脈衝神經網路長期保留的浮點膜電位納入後訓練量化，按通道配置 2、4 或 8 位元。論文在分類與語意分割上接近浮點模型，但硬體收益仍來自分析模型，且專用程式尚未公開。
RAG／文件理解
DocMemo 以貝氏頁面記憶重查長文件，MMLongBench 準確率達 71.3%
DocMemo 不把首次檢索的 top-k 頁面視為定案，而是把推理回饋寫回頁面相關性分布並重新取樣。三層記憶在長文件問答帶來增益，但評分依賴 GPT-4.1，公開儲存庫也仍相當精簡。
推論系統
CoBa 動態分配推理算力，以少 58.9% 加權 token 追平 Best-of-16
CoBa 先少量生成候選答案，再依分歧與驗證分數決定是否追加取樣或啟用較強驗證器。它在五套推理測試取得 85.13% 宏平均準確率，但結果來自離線候選池重播，尚非線上服務實測。
最新模型
Meta 開放 Muse Glimmer 30B：17GB 量化版搭 DFlash 在 RTX 5090 達 233 token/s
Muse Glimmer 將多模態輸入、工具呼叫與失敗重試放進可在消費級硬體部署的 30B 密集模型。Apache 2.0 權重與官方 GGUF 已上線，但性能與安全數字目前仍主要來自 Meta 自評。
代理工具
A²E 統一 23 項基準與 9 種代理外殼，單格評測仍只有 5 題
上海人工智慧實驗室公開 A²E，以 Agent Task Protocol 解耦基準、代理外殼與軌跡評分。1,035 次配對實驗顯示外殼會改變工具使用與 token 成本，但樣本量不足以支撐框架排行榜。
代理工具
Shepherd v0.3.0 將代理修改留作可審核提案，但論文展示的自動分叉監督仍未完整交付
Shepherd 把模型呼叫、工具操作與檔案變更記成持久執行軌跡，讓使用者在修改進入工作區前檢查或捨棄。最新文件同時明確指出，論文與專案首頁展示的 meta-agent 委派、執行中分叉及自動重試介面，尚不是 v0.3.0 可直接使用的功能。
AI 安全
Muse Code 預設載入 Claude 與 Codex 個人指令，跨供應商相容性引出資料邊界問題
獨立測試發現，Meta 的 Muse Code 會在啟動時尋找使用者家目錄中的 `CLAUDE.md` 與 `AGENTS.md`，並把內容納入送往模型端點的上下文。這種相容性設計不等於任意檔案外洩，但可能把原本只預期交給另一家供應商的個人規則、內部路徑或敏感提示傳給 Meta。