推論系統
TEMPO 依實測執行時間分派 MoE 專家，Qwen3‑235B 的 p99 token 延遲降低約 15.6%
TEMPO 不再只平衡 token 或啟用專家數，而是同時估算 HBM 權重載入與 GEMM tile padding。SGLang 原型在部分 Qwen3‑235B 流量提高 4%至6%吞吐，但對通訊受限的 DeepSeek‑V3 反而只留下額外成本。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
推論系統
FlashDrive 聯合快取、推測解碼與 W4A8，將 10B 自駕 VLA 延遲壓至 151 毫秒
FlashDrive 同時處理視覺編碼、LLM prefill、推理 token 與軌跡去噪四個瓶頸，在 RTX PRO 6000 上把 Alpamayo 1.5‑10B 單窗口延遲由 717 降至 151 毫秒。開源實作接近即時推論，但仍經過專門微調，閉環測試規模亦只有 100 段模擬片段。
最新模型
AlayaWorld v1.1 改用串流 3D 點快取，長時影片一致性評分升至 89.5
AlayaWorld 重寫互動式世界模型的空間記憶與條件管線，讓攝影機控制、歷史畫面及生成內容使用對齊的因果 VAE 表徵。新報告在 WBench 取得最高一致性總分，但新版權重與推論程式尚未同步公開。
推論系統
GCache 依全程誤差影響配置擴散快取，Wan2.1 同速下 LPIPS 降至 0.0316
GCache 不再以相鄰去噪步驟的局部相似度決定是否重算，而是搜尋對最終畫質影響最低的快取重用序列。它在 Wan2.1 維持 2.17 倍加速時大幅降低偏差，但策略搜尋需要多張 H100，實作亦尚未公開。
推論系統
vToken 以 token 級虛擬化回收 KV cache，單張 H100 吞吐最高提高 37%
vToken 在 PagedAttention 區塊之上加入 token 對實體位置的映射，將淘汰後散落的 KV 空洞重新壓實。vLLM 原型最多減少 72.3% 保留區塊，但測試仍限於單機單卡與 7B、8B 級模型。
推論系統
Trie Automata 預算 token mask，vLLM 有限選項解碼吞吐達 XGrammar 的 29 倍
新方法針對數千至一萬個合法字串預先建立 trie 狀態與 token mask，避開通用文法編譯的基數瓶頸。作者測得批次 256 時每秒處理 219 個請求，但尚未公開實作，數字也包含繞過既有 guided-decoding 路徑的整合收益。
最新模型
64 路自一致投票在多數 GPQA 難題上反而降低單題準確率
一項預先註冊研究發現，Qwen2.5-7B 與 Llama-3-8B 在多數 GPQA Diamond 題目上愈投票愈容易鎖定錯誤答案。整體平均分數仍略升，顯示聚合指標會掩蓋逐題退步。
最新模型
LTX‑2.5 以擴散解碼器與單次多鏡生成更新開放影音模型
LTX‑2.5 公開 22B 可訓練及八步蒸餾權重，新增跨鏡頭角色、聲音與場景一致性。完整快速入門元件約 66 GiB，Diffusers 支援仍須安裝主分支，模型也受營收門檻式社群授權限制。
最新模型
Qwen3.8 首次開放 2.4T 參數 Max 級權重，每個 token 啟用 95B
阿里千問公開 Qwen3.8‑2.4T‑A95B，以 512 個專家、混合線性與標準注意力支援最長約 101 萬 token。模型可調整推理深度，但只接受文字、不能關閉思考模式，實際部署門檻遠高於一般開放權重模型。
最新模型
相同模型排名隨 token 上限反轉，四模型測試錄得 56,476 次推論
一項新研究把四款開放權重模型的生成上限由 64 提高至 4,096 token，三項推理基準的領先模型均曾改變。排除截斷後仍有 3%至19%題目在增加預算時由對轉錯，顯示單一 token 設定不足以支撐部署選型。
最新模型
LFM2.5‑VL‑3B 以約 3GB 記憶體執行視覺模型，原生支援 vLLM、llama.cpp 與 MLX
Liquid AI 發布 3.1B 參數的 LFM2.5‑VL‑3B，加入畫面定位、版面 OCR、多圖理解與函式呼叫能力。官方在 Apple M5 Max 測得 228 token/s，單張 H100 高併發吞吐約 11,000 token/s，但數據尚待獨立重現。
最新模型
Ling‑3.0‑tiny 每個 token 只啟用 1.3B 參數，但本機執行仍依賴專用 runtime 分支
InclusionAI 公開 7.9B 參數的 Ling‑3.0‑tiny，混合線性注意力與稀疏 MoE，並提供 BF16、FP8 及 INT4 權重。官方稱 FP8 在 M4 Pro 可達每秒 86 至 90 token，但 vLLM 與 Ollama 支援目前仍未完全進入上游穩定版本。