推論系統
FreeToken 動態分拆 CPU／GPU 專家運算，讓 284B MoE 在單張 RTX 5090 推論
FreeToken 不再以固定規則卸載 MoE 專家，而是按實測記憶體及 PCIe 頻寬，在 CPU 執行與 GPU 快取之間動態分工。作者報告 RTX 5090 可用每秒 22 至 25 token 執行 284B 模型，但測試仍由開發團隊完成，且完整權重依然需要大量主記憶體。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
硬體
MTIA 300 把十二個 RDMA NIC 與 collective 引擎封裝進晶片，繞過 PCIe 通訊路徑
Meta 的 MTIA 300 將 1.2TB/s 網路 I/O 與十六個訊息引擎直接整合進加速器，讓 collective 不再佔用主要計算陣列。官方在 150B 推薦模型上報告通訊時間較對照 GPU 叢集縮短 3.9 倍，但尚未提供足以比較整體訓練成本的完整系統資料。
AI 安全
Google 以 H100 安全飛地實測雙盲模型評估，模型權重與保密題庫互不公開
Google DeepMind、MLCommons 等機構把 Gemini 2.5 Flash Lite 與未公開安全題庫送入同一個可驗證安全飛地，雙方只能取得受限結果。這套設計降低基準污染風險，但信任仍落在硬體根金鑰、可信運算基礎與跨機構程式碼審查上。
硬體
AWS 接收首套 Vera CPU／Vera Rubin 系統，並規劃兩年增設 200 萬顆 NVIDIA GPU
AWS 已取得首套 Vera CPU 伺服器及 Vera Rubin GPU，兩家公司並計畫於 2027至2028年部署額外200萬顆 NVIDIA GPU。合作同時把 NVLink Fusion、NVHBM、Nitro 與 EFA 納入異質機架設計，但多數容量與效能仍屬未來承諾。
AI 軟體／文件處理
Cohere Parse 5 以 2.3B 視覺模型處理企業文件，但基準分數排除了圖表與版面定位
Parse 5 將 PDF、簡報與影像轉成保留表格及閱讀順序的 Markdown，API 定價為每千頁 1.50 美元。官方公布的 ParseBench 79.2 分只涵蓋五個評測維度中的三個，不能當成完整文件理解成績。
推論系統
TensorRT Model Connect 將模型 checkpoint 編成原生 C++ bundle，但介面尚未定版
NVIDIA 公開 TensorRT Model Connect，透過 Python 建置工具把支援的 Hugging Face checkpoint 封裝成可由 C++ 載入的 TensorRT bundle。專案已宣告 84 個模型家族與 221 組端到端 manifest，但仍採 nightly 開發模式，支援表不等於每款硬體均已通過驗證。
最新模型
GLM-5.3 開放 744B MoE 權重，百萬 token 部署仍需資料中心級資源
Z.ai 在 API 上線兩週後釋出 GLM-5.3 權重，模型沿用 GLM-5.2 基礎架構，能力增益主要來自代理式程式設計與資安後訓練。FP8 檔案仍約 756GB，加上自訂授權與廠商主導評測，實際採用前需另做效能、安全及法律驗證。
AI 基礎設施
ROCm 10 將代理式核心最佳化推向正式版，但升級同時帶來 ABI 斷裂與已知故障
AMD 發布 ROCm 10，並讓整合 Hyperloom、AMD Skills 與統一 CLI 的 ROCm.AI 正式可用。官方宣稱同硬體推論與訓練平均提升 3.3 倍及 2.4 倍，但數字涵蓋整套最佳化流程，不能視為單純升級執行環境的收益。
推論系統
Atlas 以純 Rust／CUDA 推論引擎在單顆 GB10 對決 vLLM，高併發吞吐最高快 22.5%
Atlas 公開 Qwen3.8-27B-NVFP4 的可重跑測試，在 DGX Spark 的 1 至 128 路併發均領先 vLLM。結果只涵蓋單一模型與短輸入、長輸出負載，尚不能推廣至一般資料中心部署。
推論系統
vLLM 在 Ironwood TPU 支援 16K embedding，StepPool 保存分段 prefill 狀態
Google 與 vLLM 為 Qwen3 embedding 模型加入張量對齊、編譯預熱及可跨分段累積的 pooling 狀態。官方在四顆 Ironwood TPU 上報告約 8.4 萬 token/s，但尚未提供同成本 GPU 對照或真實檢索品質測試。
硬體
NVIDIA 把記憶體控制器移入 NVHBM base die，為客製 AI XPU 騰出最多 25%面積
NVHBM 以客製 base die 與 PHY 把部分記憶體介面邏輯移離運算晶粒，並納入 NVLink Fusion。NVIDIA 宣稱它較標準 HBM4E 提高最多 30%頻寬、降低15%記憶體功耗，但尚未公布量產晶片實測。
硬體
OpenAI Jalapeño 在三款開放模型上每瓦吞吐高出 1.5 至 1.9 倍，但尚未測長上下文代理負載
OpenAI 首度公布自研推論 ASIC 的實測結果，並以單一加速器架構同時處理 prefill 與 decode。SemiAnalysis 現場核對測試過程，但數據仍由 OpenAI 提供，量產晶片與 AgentX 成績尚待驗證。