推論系統
llama.cpp 主線納入 Maple 20B‑A1B 三值 MoE,首階段以 CPU 支援為基準
9 月 14 日合併的架構支援,讓 Maple‑Preview 不再依賴 DeepGrove 的 llama.cpp 分支即可載入與轉換。模型每個 token 只啟用約 10 億參數,但 GPU 後端、品質評測與官方速度宣稱仍需分開驗證。
Archive
新模型、開放權重、多模態、語音、影像與模型架構。
推論系統
9 月 14 日合併的架構支援,讓 Maple‑Preview 不再依賴 DeepGrove 的 llama.cpp 分支即可載入與轉換。模型每個 token 只啟用約 10 億參數,但 GPU 後端、品質評測與官方速度宣稱仍需分開驗證。
代理工具
新實驗顯示,「草擬—驗證—修訂」管線中的 `previous` 等相對詞,可能隨模型角色轉換而改變指涉。提高推理強度可大幅改善部分模型,但模型選擇比單純增加測試時計算更關鍵。
最新模型
SteerDuplex 把語氣、口音、語速與插話處理納入同一套全雙工語音後訓練,並提出含 390 個語音提示的 SteerBench。論文報告明顯增益,也揭露模型可藉過早停止回答來投機中斷指標。
GitHub Repo
OpenArch 把 Llama、DeepSeek、Gemma、Qwen、Kimi 等模型改寫成逐架構的純 PyTorch 範例,方便比較注意力、正規化與 MoE 路由。專案 9 月 14 日在 Hacker News 快速獲得關注,但多數模型仍未完成,現有程式也明確不以效能或相容性為目標。
AI 安全
社群稽核發現,`huggingface_hub` 會依環境變數辨識 Codex、Claude Code、Cursor 等代理,並把名稱加入 Hub 請求的 User-Agent。機制早已由官方公開,但一般遙測停用選項是否完整涵蓋代理標記,文件仍未清楚說明。
推論系統
新開源測試集把小模型放到 Jetson、Mac、樹莓派及 Android 裝置,量測解碼速度、每焦耳 token、延遲與溫度,而非只看資料中心 GPU 吞吐。作者宣稱已測約千組 Jetson 配置,但目前公開榜單未載入任何資料,使用者只能先從儲存庫報告與原始產物核對結果。
最新模型
上海人工智慧實驗室把 Intern‑S2‑Preview‑397B 升級為正式版,新增長時程代理能力,並釋出 Apache 2.0 的 BF16 與 FP8 權重。API 使用者須改用 `intern-s2`,但官方文件的 latest alias 仍有互相矛盾之處,遷移時應檢查回傳的實際模型版本。
GitHub Repo
9 月 13 至 14 日的 llama.cpp 預發布建置補上 BF16 不可用時的 CUDA F32 路徑,避免部分舊 GPU 直接失敗。另一項修補會在 Nemotron‑H 的 NextN/MTP 中繼資料不完整時回報錯誤,而非於載入模型時觸發 SIGFPE。
推論系統
近期社群熱度上升的 Colibrì,以純 C 引擎按需載入稀疏專家,讓 744B 至 2.8T 參數模型可在非資料中心硬體啟動。它降低的是模型常駐記憶體門檻,實際解碼速度仍高度受 SSD 頻寬、專家命中率與量化品質限制。
AI evaluation / scientific reasoning
一項涵蓋六套物理評測的人工稽核發現,多數被自動判錯的答案其實涉及錯誤參考解、評分器缺陷或題意不完整。修正或剔除問題後,GPT‑5.6‑Sol 在保留的 CritPt 題目達 94.4% pass@4,但這不等同原始完整榜單成績。
最新模型
OpenBMB 發布 MiniCPM5‑2B、訓練資料及從預訓練到 RL 的多階段權重,並提供 GGUF、MLX、GPTQ 與推測解碼版本。模型維持標準 Llama 架構與 128K 上下文,但工具呼叫所需的 SGLang 解析器目前可能仍要從主分支安裝。
代理工具
Astah Pro MCP 的實驗性主分支新增 programmatic tool calling,以 83 項工具取代直接模式近 400 項細粒度操作,降低代理載入大型工具目錄的壓力。變更尚未出現在 Astah 官方列出的 0.2.9 穩定資訊中,且模型資料、日誌與編輯權限仍會交給外部代理。