最新模型
Muon 加速 grokking 後仍會失效:九組設定全數出現泛化崩落
新實驗發現,以 Muon 訓練 Transformer 隱藏矩陣、AdamW 更新嵌入與輸出頭時,模型雖較快學會模運算,卻無法穩定維持解法。凍結任一參數群可阻止崩落,顯示問題源於表徵與讀出介面的共同漂移。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
最新模型
新實驗發現,以 Muon 訓練 Transformer 隱藏矩陣、AdamW 更新嵌入與輸出頭時,模型雖較快學會模運算,卻無法穩定維持解法。凍結任一參數群可阻止崩落,顯示問題源於表徵與讀出介面的共同漂移。
代理工具
Shepherd 把模型呼叫、工具操作與檔案變更記成持久執行軌跡,讓使用者在修改進入工作區前檢查或捨棄。最新文件同時明確指出,論文與專案首頁展示的 meta-agent 委派、執行中分叉及自動重試介面,尚不是 v0.3.0 可直接使用的功能。
最新模型
CellWorld 不直接重建被遮蔽的基因值,而是根據鄰近細胞與少量表達提示預測目標編碼器的潛在表示。程式與訓練配置已採 MIT 授權公開,但預訓練權重仍放在需核准的私人儲存庫。
最新模型
AgentPatch 先找出模型合併後的弱項,再只恢復專家模型的獨有殘差與關鍵 FFN 神經元。它輸出單一靜態 checkpoint,無需路由或推論期代理,但完整評測轉接器與模型權重仍未公開。
GitHub Repo
AIPOCH 的 Apache‑2.0 桌面工作台整合模型代理、Python/R 核心、科學資料連接器及不可變產物版本。8 月 9 日更新讓上下文壓縮可見,並修正 Codex MCP 核准與 Windows notebook 執行問題,但仍未達可攜式完整重播。
代理工具
DiDPO 不再把整次代理執行的成敗平均分配給所有 token,而是比對多條軌跡中的相似子 diff。公開的 verl-code 已包含訓練入口與資料配方,但尚無作者模型 checkpoint,實驗也不是完整軟體庫修復。
代理工具
P-Bench 要求代理自行選擇統計方法、執行 R 程式並回報 p 值,不再只檢查程式能否執行。14B 模型在困難題的嚴格指標領先所列開放模型,但目前公開儲存庫仍只有說明文件。
推論系統
社群部署配方在單台 DGX Spark 上啟用 CUDA Graph 與一層 MTP 推測解碼,把 Ling-3.0-flash INT4 的生成速度由 20.8 提至 38.7 token/s。更關鍵的發現是主線 vLLM 尚未支援 V3 架構,強行套用舊注意力路徑不一定報錯,卻可能輸出看似流暢的錯誤內容。
最新模型
MiniMax H3 將文字、圖片、影片與音訊封裝成單一序列,聯合預測視覺及音訊 latent,輸出最高 768p、24 FPS、32 kHz 立體聲。官方工作流程宣稱可再生至 2K,但提示編排與高解析度模組仍只提供託管 API。
代理工具
CalibForge 不再保留所有能執行的合成題,而是反覆修改任務,直到不同求解代理出現預定的成功與失敗關係。用校準軌跡微調的兩款模型在三項程式代理基準均有增益,但完整訓練需要 64 張 H20,且部分結果只執行一次。
AI 安全
新基準用四種配對情境區分模型是正確判斷證據,還是索性忽略所有外部資訊。SCOPE 只改造 DPO 的偏好資料配置,降低錯誤情境造成的答案翻轉,同時維持正確與無關情境下的準確率。
時間序列與檢索增強
百度研究者把 RAG 從文字生成移植到多變量時間序列,以 TCN 檢索相似片段,再用交叉注意力融合。加入通道依賴的版本在六套資料集優於所列基線,但程式尚未公開,採用的傳統基準也已被維護者警告可能失去鑑別力。