推論系統
FreeToken 動態分拆 CPU／GPU 專家運算，讓 284B MoE 在單張 RTX 5090 推論
FreeToken 不再以固定規則卸載 MoE 專家，而是按實測記憶體及 PCIe 頻寬，在 CPU 執行與 GPU 快取之間動態分工。作者報告 RTX 5090 可用每秒 22 至 25 token 執行 284B 模型，但測試仍由開發團隊完成，且完整權重依然需要大量主記憶體。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
推論系統
兩段式表格壓縮先以 64 個視覺 token 找表，再用原解析度推理
愛丁堡大學研究顯示，低解析度表格雖不適合直接讀數，仍足以供 VLM 判斷相關性。訓練-free 的兩段式流程在長文件測試中節省 41% decoder token，準確率比全表原解析度單次推理高 7.1 個百分點。
推論系統
TensorRT Model Connect 將模型 checkpoint 編成原生 C++ bundle，但介面尚未定版
NVIDIA 公開 TensorRT Model Connect，透過 Python 建置工具把支援的 Hugging Face checkpoint 封裝成可由 C++ 載入的 TensorRT bundle。專案已宣告 84 個模型家族與 221 組端到端 manifest，但仍採 nightly 開發模式，支援表不等於每款硬體均已通過驗證。
最新模型
GLM-5.3 開放 744B MoE 權重，百萬 token 部署仍需資料中心級資源
Z.ai 在 API 上線兩週後釋出 GLM-5.3 權重，模型沿用 GLM-5.2 基礎架構，能力增益主要來自代理式程式設計與資安後訓練。FP8 檔案仍約 756GB，加上自訂授權與廠商主導評測，實際採用前需另做效能、安全及法律驗證。
最新模型
Thomson-1.0-Small 以 200B token 持續訓練強化專業能力，但權重授權限制生產使用
Thomson Reuters 以 Qwen3.6-35B-A3B 為基礎，公開具 35B 總參數、每次啟用 3B 的 Thomson-1.0-Small。模型在法律、稅務與研究代理評測有所提升，但成績主要由開發團隊量測，PolyForm Strict 授權也不是一般開源授權。
機器人與具身 AI
Isaac 0.5 統一影片理解與機器人控制，但關鍵未來感知訓練目標仍未開放
Perceptron AI 釋出 360 億參數 Isaac 0.5 權重及 LeRobot 整合，讓同一稀疏骨幹輸出語言、空間座標與連續或離散動作。官方宣稱一般影片可大幅減少遙操作資料需求，但這是離線 action loss 的換算，且核心自監督目標仍屬專有技術。
最新模型
Qwen3.8-Flash-Next 用區塊稀疏注意力與 n-gram 參數擴展，為 Qwen4 預演新架構
阿里巴巴公開 Qwen3.8-Flash-Next 權重，以 Qwen Sparse Attention、Gated Residual 與 510 億個 n-gram embedding 參數降低長上下文運算成本。模型原生支援 26.2 萬 token，但效能數字主要來自官方評測，授權亦不是常見的 Apache 2.0。
最新模型
演化策略後訓練保留更多推理路徑，Pass@32 平均優於 GRPO
新研究以參數擾動和純前向評估訓練推理模型，發現演化策略可減輕 GRPO 的熵崩塌與大樣本覆蓋下降。結果涵蓋 1.5B 至 7B 模型，但訓練規模、任務範圍與可重現性仍有限。
AI 基礎設施
ROCm 10 將代理式核心最佳化推向正式版，但升級同時帶來 ABI 斷裂與已知故障
AMD 發布 ROCm 10，並讓整合 Hyperloom、AMD Skills 與統一 CLI 的 ROCm.AI 正式可用。官方宣稱同硬體推論與訓練平均提升 3.3 倍及 2.4 倍，但數字涵蓋整套最佳化流程，不能視為單純升級執行環境的收益。
推論系統
Atlas 以純 Rust／CUDA 推論引擎在單顆 GB10 對決 vLLM，高併發吞吐最高快 22.5%
Atlas 公開 Qwen3.8-27B-NVFP4 的可重跑測試，在 DGX Spark 的 1 至 128 路併發均領先 vLLM。結果只涵蓋單一模型與短輸入、長輸出負載，尚不能推廣至一般資料中心部署。
RAG／向量檢索
txtai 9.13 將 ColBERT 多向量壓成單一索引，但大型語料仍須重調 Faiss
txtai 9.13 正式整合 LEMUR，以學習式固定維度向量近似逐 token 的 MaxSim 分數。初步測試兼顧索引容量與檢索品質，但預設 IVF 在較大資料集上可能明顯降低召回率。
最新模型
BPCO 以單一 rollout 訓練 LLM critic，取代 GRPO 的多回應組內比較
BPCO 結合受限 value head、Monte Carlo target 與長度自適應 GAE，讓 critic 從單一回應估計逐 token advantage。作者在 1.5B 至 30B-A3B 模型上追平或超越多樣本方法，但尚未證明整體訓練成本較低。