最新模型
Ling‑3.0‑tiny 每個 token 只啟用 1.3B 參數,但本機執行仍依賴專用 runtime 分支
InclusionAI 公開 7.9B 參數的 Ling‑3.0‑tiny,混合線性注意力與稀疏 MoE,並提供 BF16、FP8 及 INT4 權重。官方稱 FP8 在 M4 Pro 可達每秒 86 至 90 token,但 vLLM 與 Ollama 支援目前仍未完全進入上游穩定版本。
Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
InclusionAI 公開 7.9B 參數的 Ling‑3.0‑tiny,混合線性注意力與稀疏 MoE,並提供 BF16、FP8 及 INT4 權重。官方稱 FP8 在 M4 Pro 可達每秒 86 至 90 token,但 vLLM 與 Ollama 支援目前仍未完全進入上游穩定版本。
推論系統
ThinkRetrieve 不再只要求模型延長思考,而是在每個推理邊界檢索相似題目的完整解答,插入下一段思考脈絡。五款 1.5B 至 8B 模型均勝過循序式測試時計算,但方法需要龐大且嚴格去污染的解題資料庫。
最新模型
Meta 公開 Muse Glimmer 30B 權重、視覺編碼器及 DFlash 草稿模型,17GB 版本可在 24GB VRAM 內同時執行文字、影像與推測解碼。官方在 RTX 5090 測得平均 233.4 token/s,但安全評測與部署細節顯示它仍需要外部防護及新版 runtime。
AI 輔助科學研究
研究團隊以推理模型、編程代理及檔案式記憶執行約 240 個研究 session,最終提出並由作者驗證 `K_G ≥ 6π/11`。系統展現強大局部證明能力,卻未自行察覺搜尋已陷入瓶頸,研究方向與成果取捨仍依賴約 40 次人類指令。
代理工具
ChemWorld 以型別化操作、相容性編譯器及私有化學定律,讓研究者在相同公開介面下只替換單一世界規則。開源版本通過 52 種生成組合與八條完整流程,但它驗證的是軟體執行語義,並非真實化學準確度。
AI 基礎設施
MISA-T 不只依前綴命中選擇推論節點,還限制不同工作負載可同時占用 KV 快取的 session 數量。作者在 Step3.7 與 Qwen3.6-35B-A3B 測得 43.6% 至 53.3% 的 rollout 吞吐增益,但實作尚未公開。
最新模型
UniF-MoE 不再分別決定共享專家、FFN 寬度與啟用專家數,而是讓每個 token 先選共享通道,再按剩餘需求累積路由機率。它在作者的 DeiT 與 BERT 實驗中改善準確率及 MoE 推論成本,但尚未在生成式大型語言模型或分散式 expert parallelism 上驗證。
最新模型
ReRound 不使用校正語料,而是從模型自身權重訓練條件式擴散模型,重新判斷接近量化區間中點的權重應向上或向下捨入。部署時維持原有低位元格式且沒有額外推論負擔,但每款模型須先支付數小時的專屬重建成本。
最新模型
小鵬提出 XCoT-VLA,以有限的語意動作 token 取代數十個自然語言推理 token,再透過 flow matching 生成連續軌跡。開迴路測試顯示橫向誤差下降,但尚無封閉迴路安全評估,延遲數字亦未涵蓋完整車載軟硬體堆疊。
應用研究/AI 基礎設施
GENCO 透過異質圖注意力、物理量解碼及反覆殘差修正,統一處理潮流、最佳潮流與狀態估計。大型電網的批次推論明顯快於傳統 AC 求解器,但零樣本跨電網及真實 SCADA 準確率仍不足以直接取代既有工具。
最新模型
Open-EA 把多輪視覺模型評測軌跡整理成 10,042 筆監督資料,將原本依賴 GPT-4o 的規劃流程移植至本機 EA-3B。模型、資料建構與 runtime 已公開,但「評測時間降至傳統方法 10%」主要來自原始 API 代理,不能直接視為 EA-3B 的普遍效率保證。
最新模型
TIDE 不再把高 token 一致率直接視為蒸餾成功,而是分別處理學生過度生成及漏掉教師偏好 token 的問題。強錯配設定下,方法同時把平均回答長度縮短 3.6 倍,但重現完整訓練仍需八張 GPU,且作者未提供 checkpoint。