AI 基礎設施
AIPerf 以多程序重建 LLM 測速流程，串流指標仍須核對計數方式
NVIDIA 詳解 GenAI-Perf 後繼工具 AIPerf，將負載產生、結果處理與流量重播納入多程序架構。它提供更完整的服務量測，但遷移相容性與串流 token 計數仍影響結果解讀。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 基礎設施
AI 研究
SoL-Pi 以四項機制降低代理成本，EdgeBench 分數保留約 94%
NVIDIA 等團隊透過自動實驗優化代理框架，在兩款模型上減少約 45% 至 49% 的 token 流量。公開擴充套件保留原始證據供取回，但完整配置仍有分數與任務完成率的取捨。
GitHub Repo
LocalAI 4.10 統一叢集操作與私有下載憑證，加入端到端測速
新版把節點健康、模型副本與批次生命週期操作整合進叢集儀表板，並統一私有來源驗證。新增 benchmark 可建立回歸測量，但未涵蓋首 token 延遲或高併發容量。
最新模型
DeepSeek 公開 V4.1-Flash 壓縮設計，全域 KV 快取降至每 token 890 位元組
新技術報告揭示跨層快取重用、FP4 儲存與局部狀態重建，如何降低長上下文代理的部署成本。壓縮數字不代表整體顯存需求，近似重建的品質邊界也仍待驗證。
推論系統
Anthropic 公開 36 組生物模型加速套件，將數值一致性納入執行模式
Claude 協助開發的 36 組套件，以共享 GPU 核心加速生物模型並降低記憶體需求。官方區分輸出完全一致與近似加速，但公開版本不承諾持續維護。
Qwen3.8-Omni-Flash 將百萬 token 音視訊理解接入工具呼叫，API 僅輸出文字
阿里巴巴推出接受文字、影像、音訊與影片的 Qwen3.8-Omni-Flash，並支援多聲道空間音訊。開發者可透過既有 API 串接工具與快取，但語音生成、素材處理成本及完整代理成功率仍須分別評估。
推論系統
GLM 以分層回饋驅動推論最佳化，公開補丁揭示長上下文精度邊界
Z.ai 公開由 GLM-5.3 參與推論系統開發的工程方法，把數值測試、執行軌跡與局部基準接進代理迭代。上游程式碼證實一項長上下文精度修補，但它預設關閉，無法單獨驗證整體三倍吞吐量的宣稱。
最新模型
Bonsai 2 將 27B 語言權重壓至 5.95 GB，部署仍需專用執行核心
PrismML 以三元權重與正交旋轉壓縮 Qwen3.8-27B，並公開模型及推論工具。官方宣稱保留約 98.2% 整體基準表現，但不同評測口徑與執行環境相容性仍需逐項核對。
AI 安全
llama.cpp b11000 清除失效計算圖，修補無驗證 RPC 遠端執行漏洞
llama.cpp 的 RPC 伺服器會重播仍指向已釋放緩衝區的快取計算圖，遠端客戶端可藉此取得讀寫能力並執行程式碼。b11000 在釋放緩衝區時丟棄相關圖狀態，但 RPC 本身仍不適合直接暴露於不受信任網路。
推論系統
Chord 針對 Kimi K2.x 重寫 INT4 MoE 核心，依推論階段選擇 GPU 排程
Novita AI 與 vLLM 開源 W4A16 CUDA 運算子 Chord，針對 H200、B200 與 B300 的 Kimi K2.x 服務形狀調校。公開測試最高達 Humming 的 2.15 倍，但數字只涵蓋 MoE 層核心，不能直接換算成端到端吞吐量。
硬體
OpenVINO 2026.4 將多 token 草稿解碼帶到 CPU、GPU，並統一 NPU 效能追蹤
OpenVINO 2026.4 為 Gemma 4、Qwen3.5 與 Qwen3.6 加入 Multi-Token Prediction 推測解碼，也讓 VTune 橫跨 CPU、GPU、NPU 分析推論。新版擴大本機模型覆蓋，但多項 NPU 動態形狀與模型卸載功能仍只是預覽，官方亦未提供統一的公開加速數字。
代理工具
Stellar Colosseum 以依賴圖與證偽迴圈管理長程數學代理
Google Research 與 CMU 團隊把策略探索、證明分解、局部修補及全局驗證拆成多代理工作流。跨模型選擇在 TCS-Bench 達到 71%，但主要 harness 尚未完整公開，且自動評分與大量推論預算限制了可比性。