AI 基礎設施/低精度訓練
Transformer Engine 2.19 接上 Rubin 與二維 MXFP8,並封鎖可能靜默算錯的 cuBLAS 演算法
NVIDIA 的低精度訓練函式庫新增 Rubin SM107a、MXFP8 二維權重縮放及 MoE 通訊路徑。版本同時停用一個會令 B300 與 Rubin 分組 GEMM 靜默損毀資料的 cuBLAS 13.7 演算法。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
AI 基礎設施/低精度訓練
NVIDIA 的低精度訓練函式庫新增 Rubin SM107a、MXFP8 二維權重縮放及 MoE 通訊路徑。版本同時停用一個會令 B300 與 Rubin 分組 GEMM 靜默損毀資料的 cuBLAS 13.7 演算法。
最新模型
Bartowski 重新上傳 Qwen3.8‑27B GGUF,依各張量敏感度分配量化格式,並公開可重建的配置檔與 KLD 測量。新舊檔案共用部分名稱,但 `_L` 的語意及實際位元配置已改變,部署者不能只比檔名。
最新模型
Wringer 先以暫時性 LoRA 修復 2.655 bpw 模型,再把修正重新求解進整數碼與 scale,推論時不保留 adapter。公開模型在三項基準保留約 94.65% 的 BF16 分數,但完整模型其實是 4.69 bpw,也沒有原生低位元 kernel。
推論系統
新版把分離式推論、vLLM 多程序路由及多 worker 副本管理帶進同一個開源服務層。它也讓模型能先下載、從既有快取啟動並續傳,但發布說明沒有提供吞吐或延遲比較。
AI 安全
Nous Research 的修補版重新分離共享狀態與使用者資料庫,並封堵工作階段、MCP 憑證及附件跨設定檔流動的路徑。Docker 映像已發布,但修補範圍龐大且沒有獨立安全公告,部署者仍應先備份及驗證。
代理工具
autofinetune 讓代理依 Markdown 規格修改 Tunix 訓練程式、執行評測,並只保留改善指標的 Git commit。首批實驗涵蓋 FunctionGemma 的 SFT 與 Gemma 3 1B 的 GRPO,但仍是小規模、單指標的探索性流程。
AI 安全
Gemini CLI 0.61.0 的 9 月 12 日 nightly 會追蹤外部內容衍生的命令參數,並在建置設定遭修改後重新要求使用者核准。另一組修補阻擋沙箱掛載主目錄、憑證與 `.env`,但穩定版尚未發布。
最新模型
SenseNova-U1.5 以不依賴獨立視覺編碼器或 VAE 的 MoT 架構,同一模型處理理解、推理、生成與編輯。9 月 11 日新增的技術報告揭露訓練方法與評測,現有權重及推論程式可用,SFT、RL 與多專家蒸餾程式仍未完整公開。
最新模型
OpenAI 將生命科學專用模型開放給全球合格機構,使用介面涵蓋 ChatGPT、Codex 與 API,正式定價將於 10 月 5 日生效。同步公開的 Codex 外掛把實體正規化、證據檢索與多工具編排拆成 50 項技能,但模型存取仍須通過用途及治理審查。
代理工具
Context7 的 Docs7 現可讓相容瀏覽器中的代理直接呼叫 `search_docs`,管理者也能查看代理來源、查詢內容與熱門頁面。這讓文件團隊首次能觀察代理如何找資料,但相關指標不能證明引用或答案正確,WebMCP 本身也仍只是社群草案。
代理工具
新指令 `claude plugin eval` 可比較啟用與停用外掛時的表現,輸出 JSON 與 HTML 評測報告。首批實測顯示,自動產生的規則較能驗證指令遵循,未必能證明外掛真正改善任務品質。
推論系統
RunningHub 公開以 SGLang、步數蒸餾、SageAttention2、Cache-DiT 與 `torch.compile` 組成的 MiniMax H3 多 GPU 推論配方。官方把五秒影片延遲由 348.8 秒降至 28.7 秒,但關鍵內部加速權重尚未釋出,公開 LoRA 不能直接重現該數字。