最新模型
OYS 直接搜尋擴散模型去噪時間步，5 步生成保留 50 步品質的 89% 至 94%
OYS 不修改或蒸餾模型，而以貝葉斯最佳化為每個模型及任務尋找低步數去噪排程。研究在六款文字生成圖像模型及修補任務上報告改善，但搜尋成本需由大量預生成樣本攤銷。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
推論系統
Qwen3.8-27B 在 RTX 4090 上可達 70 tok/s，主流部署仍依賴量化與 MTP 調校
Qwen3.8-27B 讓 27B 級模型進入單張 24GB 消費級 GPU 的可用範圍。公開資料顯示，一般 GGUF 部署約落在 30 至 60 tok/s；在 RTX 4090 上啟用 KV cache 量化、MTP 與新版 llama.cpp 後，社群實測可提升至 70 至 85 tok/s，但這仍不是開箱即得的基準。
推論系統
IOL-AI 以未公開語言學奧賽題測推理：14B 模型靠解碼流程把基線分數提高逾一倍
IOL-AI Challenge 要求系統先從少量例句推導陌生語言規則，再完成翻譯、轉寫與訂正。受限於單張 T4 的最佳提交把同模型基線 GM 由 9.40 提至 19.79，但與達到金牌線的封閉模型仍有明顯差距。
推論系統
TensorRT Model Connect 公開預覽：Hugging Face 模型可免經 ONNX 打包成原生 C++ 推論
NVIDIA 開源 TensorRT Model Connect，以兩道指令把受支援的 Hugging Face 或本機 checkpoint 建成可移交 C++ 應用的版本化 bundle。它縮短模型移植路徑，但目前定位仍是參考實作，支援範圍與效能須按模型、精度及硬體逐項驗證。
推論系統
MoNe 將長上下文寫入測試時神經記憶，128K 推論總 FLOPs 減少 81%
Qualcomm AI Research 為凍結的 Transformer 外掛逐層快速權重，以 512-token 分段吸收上下文，查詢時不再讀取原文。Qwen2.5-0.5B 的 128K 實驗維持固定顯存並勝過 ICL、RAG，但證據目前限於三項合成檢索任務。
最新模型
TokEval 用 18 項內在指標篩選 tokenizer，資訊量指標與語言建模表現相關最高達 0.80
TokEval 將數字位值、程式 AST 邊界、UTF-8 完整性及跨語言成本納入 tokenizer 評測。控制實驗顯示部分指標可預測特定下游能力，但結果目前限於單一 1.27B 架構。
硬體
rl-triton 將七種強化學習回報計算統一為 GPU scan，完整呼叫最高加速 5.70 倍
開源函式庫 rl-triton 把 GAE、V-Trace、Retrace 等信用分配遞迴改寫成 Triton 關聯式掃描，將序列依賴深度由 O(T) 降至 O(log T)。在 4,096 個環境、128 步的測試中，它較已向量化的 torch.compile 基線快 1.6 至 5.70 倍，但大型策略的端到端 PPO 加速僅約 1.02 倍。
推論系統
TileMix 在注意力矩陣內混用 FP16／INT8，A100 的 4K prefill 吞吐達 FlashAttention 2.22 倍
TileMix 不刪除 token 連線，而是在同一個融合 kernel 內，按注意力分數 tile 選擇 FP16 或 INT8 Tensor Core 路徑。LLaMA 3.2 3B 的 4K 測試達 31.80K token/s，但結果目前限於 A100、靜態路由及 prefill 階段。
推論系統
FluxBin 以二元基底配合 LUT CUDA kernel，單張 A100 報告最高 5.92 倍推論加速
FluxBin 不把超低位元權重重新展開成 FP16，而是用二元圖樣直接索引預先計算的部分和。論文在單張 A100 報告最高 5.92 倍速度與 10.19 倍能源改善，但目前公開程式碼連結仍無法存取。
最新模型
PertMind 以細胞擾動終點訓練 4B 模型，把一億份單細胞資料轉成強化學習獎勵
PertMind 從 Qwen3-4B 出發，以基因反應、路徑方向及輸出格式組成可計算獎勵，不必人工撰寫大量生物推理軌跡。模型可零樣本轉移至逆向擾動辨識及雙擾動任務，但自然語言機制解釋仍不能視為因果證明。
推論系統
R³-Bench 讓六題共用推理預算，71／72 組測試的模型表現低於自身離線上限
新評測不再為每題提供獨立額度，而是要求模型在六道題之間分配 token 或工具操作。六款模型即使已能單獨解題，放入共享預算後仍普遍無法把算力投向最有回報的題目。
推論系統
FreeToken 動態拆分 MoE 快取失誤，8GB RTX 4060 跑 35B 模型達 39.3 token/s
FreeToken 依主機記憶體與 PCIe 頻寬，動態決定未命中專家應傳入 GPU 或直接由 CPU 計算。論文在五款消費級系統報告較最強基線高 1.3 至 2.1 倍解碼吞吐，但所連結的程式碼庫目前尚無法公開存取。