推論系統
PELM 聯合調節 DVFS 與推測解碼，端側 LLM 能耗最多降低 52.4%
PELM 不只調整處理器頻率，還動態選擇推測解碼設定與驗證深度，在熱限制下共同控制硬體和模型工作量。論文報告最高 23.1% 加速及 52.4% 節能，但峰值結果不能直接外推到手機或其他模型。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
推論系統
SageMaker 以提示前綴分流維持 KV cache，Llama 3.1 70B 首 token 延遲最多降 77%
SageMaker 即時推論端點新增 `PREFIX_AWARE`，讓相同系統提示、文件或對話歷史盡量落到同一實例。官方七節點測試顯示長前綴工作負載明顯受益，但序列化差異、熱門前綴與快取容量仍會左右實際成效。
地球觀測與應用研究
MAPL-EMIT 用 360 萬個模擬羽流訓練衛星甲烷偵測，模型與全球資料同步開放
Google 與 NASA JPL 讓視覺 Transformer 直接結合 EMIT 的光譜及空間脈絡，同時估算濃度、羽流邊界與排放源位置。公開模型找回約八成專家標註案例，但更高敏感度也帶來地表混淆與假陽性風險。
生成式音訊
YuE2-3B 以可編輯樂譜規劃完整歌曲，最佳八選一成績才超越 Suno v5
YuE2 把旋律與和弦的符號規劃、語意 token 和 flow-matching 音訊合成放進同一套生成流程。權重可在 24GB GPU 執行，但非商用授權及最佳八選一評測，使其與商用系統的比較仍須保守解讀。
代理工具
Φ-Bench 用 85 項真實基礎設施任務測試程式代理，最佳模型總分仍僅 36.53%
Φ-Bench 將評測範圍從單一 GPU kernel 擴大至跨檔案實作與端到端系統最佳化。八款前沿模型都能偶爾找到有效修改，但推理預算增加並未穩定轉化為更好的工程結果。
最新模型
Cognition 推出 SWE-2：在同一次強化學習中訓練多種推理成本
SWE-2 以 2.8T 參數的 Kimi K3 為底模，利用成本懲罰、低精度 rollout 與同步更新的草稿模型改善程式代理效率。官方基準顯示它接近前沿閉源模型，但成績主要由 Cognition 自行執行，且目前沒有獨立 API 或權重。
最新模型
Cohere 推出 North Small Translate：218B MoE 開放 FP8 權重，但商用須另購授權
North Small Translate 每個 token 啟用 25B／總計 218B 參數，支援繁體中文等逾 50 種語言與地區變體。模型可經 Chat V2 API 試用或自行部署 FP8 權重，但 CC BY-NC 4.0 禁止直接商用，官方也未公開可比較的翻譯基準成績。
最新模型
TRL 1.13 將分塊損失移回 Tensor Core，長上下文後訓練吞吐量最高增至 1.69 倍
Hugging Face 修正 `chunked_nll` 不必要的 FP32 轉型，並示範用八張 H100 對百萬 token 序列完成單步訓練。新版同時徹底移除舊 PPO 介面並提高多項相依套件版本，升級前須重新檢查訓練程式與數值表現。
AI for Science
AlphaGenome Atlas 預先計算 90 億種單鹼基變異，將基因效應推論變成資料查詢
Google DeepMind 把 AlphaGenome 對全人類基因組可能出現的單鹼基替換預先運算成 1 PB 圖譜，並以 AVI 分數統一排序編碼區與非編碼區變異。它大幅降低大規模篩選成本，但資料仍是模型預測，不能取代功能實驗或臨床診斷。
最新模型
Mercury 2.5 延續擴散式文字生成，第三方閘道實測吞吐量低於官方峰值
Inception 發布具 26 萬 token 上下文、可調推理及平行工具調用的 Mercury 2.5，繼續以反覆修正多個 token 取代純自回歸解碼。官方宣稱每秒 1,107 token，但 Vercel AI Gateway 的即時中位數約為 616 token，部署者仍須用自身提示與併發條件重測。
GitHub Repo
MiniCPM5-2B 開放訓練資料與端側部署格式，但量化版取樣預設值遭質疑
OpenBMB 發布具 13.1 萬 token 上下文與工具調用能力的 2B 稠密模型，並同步公開分階段權重、訓練資料及多種量化格式。第三方評測肯定其同級競爭力，但社群測試發現官方取樣設定可能讓 GGUF 量化版陷入重複生成。
代理工具
DeepSeek Harness 0.1.5-alpha.1 保留動態提示的 KV cache，但改寫工作階段與外掛介面
新版讓支援的模型在系統提示動態更新時繼續沿用 KV cache，減少長工作階段的重算成本。代價是 Session V3、Agent 與 Inbox API 同步出現不向下相容的改動，外掛及自製日誌工具必須重新驗證。