模型訓練與最佳化
CMuon 拆分 DiT 融合權重再做正交化,675M 模型訓練速度達 AdamW 兩倍
CMuon 發現,Muon 對融合後的 QKV、AdaLN 與 FFN 權重整體正交化,會讓功能不同的子空間互相干擾。研究以分塊動量正交化改善後期收斂,但兩倍加速目前只在單一 675M DiT 設定中得到驗證。
Archive
共 973 篇技術新聞
模型訓練與最佳化
CMuon 發現,Muon 對融合後的 QKV、AdaLN 與 FFN 權重整體正交化,會讓功能不同的子空間互相干擾。研究以分塊動量正交化改善後期收斂,但兩倍加速目前只在單一 675M DiT 設定中得到驗證。
LLM 推論系統
xPress 在區塊擴散草稿與目標 LLM 之間加入一次並行因果修整,減少「單字合理、整段不合理」造成的提前拒絕。研究報告草稿接受長度平均增加約 30%,但目前尚無公開實作可供獨立重現。
AI 代理與 RAG
HALT 不再用生成模型的自信度判斷搜尋是否完成,而是逐項驗證多跳問題所需主張是否已有證據支持。它可外掛至凍結的搜尋代理,但實際節省幅度高度取決於能否事先產生準確的中間主張。
AI 代理/可靠性
新研究不再讓第二個 LLM 逐步審查代理,而是從工具動作、延遲、輸出與 token 機率等遙測偵測軌跡偏移。系統成本約每步 200 微秒,但每個部署仍須以自身的正常軌跡重新校準。
開源 AI 工具/多代理應用
PosterMELD 將論文解析、內容壓縮、排版與品質修復拆成多代理流程,輸出保留原生 PowerPoint 元件。團隊自評列印就緒率達 81.3%,但品質裁判、API 成本與基線設定仍需外部驗證。
開放模型與邊緣 AI
Inflect-Nano-v2 將完整文字轉波形模型控制在 3.97M 參數,近期更新加入可執行的單一說話者調整流程。它適合離線與邊緣語音介面,但訓練資料、跨語言效果及品質比較仍缺乏獨立驗證。
AI 安全與代理
Microsoft 的 MDASH 開始預覽首款自研資安模型 MAI-Cyber-1-Flash,僅把最困難的工作轉交 GPT-5.4。多模型路由降低掃描成本,但自動產生攻擊程式與修補正式環境也擴大了權限及驗證風險。
Agent frameworks
GitHub Copilot cloud agent 的自動化現在可監聽 Issue 與 Pull Request 留言,並依指定文字啟動文件更新、錯誤調查等工作。功能縮短了從討論到代理執行的路徑,但私人自動化設定、留言輸入與可用工具形成新的權限及提示注入邊界。
AI coding tools
GitHub 允許開發者在啟動 Copilot cloud agent 任務時,同時指定模型與推理強度。較高強度可能改善跨檔除錯與架構分析,但會增加 token 與 AI Credits 消耗,團隊需重新建立成本及品質基準。
AI 科學研究
OpenAI 表示未公開模型 Astra 解決或推進十項數學與理論計算機科學問題,並釋出 249 頁手稿。每項結果均附可建置的 Lean 4 形式化憑證,但數學價值與手稿論證仍待領域專家審查。
AI 推論基礎設施
Cloudflare 以 FP8 KV cache 擴充 Kimi K2.6 的並行容量,並在 GLM 5.2 解碼端改用 INT4 權重。系統同時為共享 KV cache 加入頁面世代標記,防止多租戶請求讀到錯誤快取。
生成式影片
MiniMax 將 H3 影片模型權重公開,讓開發者可在本地執行含同步聲音的影像轉影片流程。ComfyUI 已加入官方工作流,但消費級 GPU 的實測多仰賴剪枝與 INT8 衍生檔,不能視為原始權重的完整品質重現。