最新模型
BaKron 將雙側 Hessian 量化降至三次複雜度,8192 方陣核心較 YAQA 快 60 倍
BaKron 以反對角線平行化及遞迴分治,在保留輸入、輸出兩側曲率資訊時把總工作量由四次降至三次。Llama 3 8B 的 2.81-bit 實驗改善 GPTQ 的困惑度,但整體量化時間仍更長,且目前未見公開實作。
Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
BaKron 以反對角線平行化及遞迴分治,在保留輸入、輸出兩側曲率資訊時把總工作量由四次降至三次。Llama 3 8B 的 2.81-bit 實驗改善 GPTQ 的困惑度,但整體量化時間仍更長,且目前未見公開實作。
代理工具
新研究發現,以嵌入近鄰預先限制候選邊,會讓知識圖譜無法觸及檢索器原本找不到的技能。BM25 與向量融合仍留下約四分之一查詢未解,但在相同 token 預算下勝過圖譜鄰居。
最新模型
Hyper-ES 不在數十億維模型權重上直接做隨機演化,而是以少量微調方向構成子空間,再搜尋逐層模型合併係數。作者在三款模型與六項數學資料集報告小幅增益,但方法並非完全無梯度。
最新模型
MACRO 不更新模型權重,而是為每項任務搜尋可跳層、回跳及重用隱藏狀態的固定執行路徑。作者在 13 項基準報告搜尋時間由 14.8 小時降至 1.6 小時,但每個新任務仍需標註訓練與驗證資料。
最新模型
Google DeepMind 釋出 WeatherNext 2 的 JAX 實作、預訓練權重與可在 Colab 執行的精簡版,涵蓋最長 15 天的全球天氣及熱帶氣旋預測。這讓研究者能重建自迴歸預報流程,但完整模型仍依賴 ECMWF 初始資料與高階加速器,輸出也不能取代官方警報。
推論系統
新研究以具型別的誤差契約統一監測 KV cache、潛在快取、稀疏選擇器與遞迴狀態,並用 Lean 檢查可形式化的組合規則。公開儲存庫能重建論文數字與 67 項定理,但不含架構專用探針及完整服務平台。
代理工具
CodeGrep 先以平行 grep、glob 與檔案讀取縮小修改範圍,再把候選檔案交給凍結的 OpenHands 程式代理。它在 SWE-bench Verified 維持約 27% 修復率並降低推理成本,但模型與訓練管線尚未公開。
最新模型
RRC 不再把偏好 token 的機率直接當獎勵,而是從候選答案的相對排序建構分數。8B 獎勵模型配合八次投票時,ArenaHardV2 亦由 8.0% 提高至 11.2%,但代價是額外的獎勵模型推論。
代理工具
新研究把 API schema 編譯為具型別的 Python stub,讓模型在單次推理中以程式串接或平行呼叫工具。方法在 BFCL v4 子集多數模型不輸原生 JSON,但目前只測到回傳參數的模擬工具,尚不能證明真實 API 工作流同樣受益。
最新模型
DASH 不再等量處理每個 token 的教師—學生差異,而是依整條生成軌跡調整監督可向前傳播的距離。作者在三項數學基準報告穩定增益,並公開訓練程式、評測流程與 LoRA 權重。
代理工具
Argus 把長期任務拆成受限 mission,並由 Manager、Planner、Engineer 與 Reviewer 共同維護可持久化狀態。作者報告它以 1.41 倍 token 成本提高程式修復成績,代理產生的 RWKV6 核心亦經外部修正後合併至開源專案。
推論系統
ReCo 依每個推理步驟的程序獎勵動態壓縮 KV cache,同時抑制重複反思並提早停止。三款推理模型、六項基準的作者實驗顯示,生成 token 減少 37% 至 65%,延遲改善 2.08 至 2.35 倍。