推論系統
NVIDIA 公開多 GPU 影片推論測試，八卡生成延遲降至約 34 秒
NVIDIA 以 Dynamo-Triton 與 TensorRT 執行 Cosmos 3 Nano，八卡生成延遲由單卡的 156.6 秒降至 34.2 秒。測試未涵蓋併發吞吐量與單片成本，品質驗證也僅採抽樣影格。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
硬體
Googlebook 開放預購，整合代理開發工具與隔離 Linux 環境
Google 將 Antigravity、Linux 終端與端側 AI 硬體納入新筆電平台。不同處理器機型的 pKVM 保護模式，以及 Linux 內的 NPU 存取方式，仍需產品文件與實機驗證。
GitHub Repo
vLLM 社群提出 RDNA 分塊調校，W7900 嵌入吞吐量測得提升約 17%–19%
社群測試透過縮小注意力核心的鍵值區塊，提高 AMD 顯卡上的嵌入服務效能。變更仍屬提案，核心加速倍數、整體吞吐量與檢索品質須分別評估。
GitHub Repo
Ultralytics 8.4.157 加入 CUDA Graph 重播，YOLO26n FP16 測試延遲降約 20%
新版以真實影像校準與 CUDA Graph 重播減少推論開銷。效益隨精度與批次改變，版本公告提及的 SiLU 改寫則已在最終審查撤回。
推論系統
SemIf 展示瀏覽器內的選項分數讀取，決策機率仍須另外校準
這項本機推論實驗比較直接讀取選項 logits 與逐字生成 JSON，讓開發者量測輸出形式的成本。結果仍受量化、瀏覽器與測試順序影響，也不能把選項機率直接當成可靠度。
推論系統
AMD 公開 MLPerf 推論最佳化，八卡 GPT-OSS 服務吞吐量提升約 38%
AMD 透過分拆注意力核心與調整排程，提高 MI355X 上的 GPT-OSS-120B 基準吞吐量。公開權重與操作指南提供重現起點，但環境設定及模型卡仍有待釐清之處。
GitHub Repo
vLLM 公開 NVDEC 多卡測試，影片描述吞吐量達 CPU 解碼方案兩倍以上
vLLM 公開硬體影片解碼的多 GPU 擴充測試，改善短描述生成工作中的 CPU 瓶頸。效益仍取決於負載，部署時也須為解碼程序預留顯存。
AI 基礎設施
AIPerf 以多程序重建 LLM 測速流程，串流指標仍須核對計數方式
NVIDIA 詳解 GenAI-Perf 後繼工具 AIPerf，將負載產生、結果處理與流量重播納入多程序架構。它提供更完整的服務量測，但遷移相容性與串流 token 計數仍影響結果解讀。
AI 研究
SoL-Pi 以四項機制降低代理成本，EdgeBench 分數保留約 94%
NVIDIA 等團隊透過自動實驗優化代理框架，在兩款模型上減少約 45% 至 49% 的 token 流量。公開擴充套件保留原始證據供取回，但完整配置仍有分數與任務完成率的取捨。
AI 安全
ALIBI 以虛假產品敘述誤導 LLM 惡意程式分類，驗證提示仍留下誤判
研究在不改變程式執行行為的前提下，加入可被靜態分析擷取的虛假背景。結果顯示，模型即使沒有遵從惡意指令，也可能因採信不可信敘述而降低風險判定。
最新模型
Needle 3 以單組權重提供多種深度，將本機工具模型壓至 8–29 MB
Cactus 讓同一組權重裁出二至二十層模型，支援本機工具呼叫與結構化擷取。官方比較限於微調後的狹窄任務，中文也尚未列入支援語言。
推論系統
Anthropic 公開 36 組生物模型加速套件，將數值一致性納入執行模式
Claude 協助開發的 36 組套件，以共享 GPU 核心加速生物模型並降低記憶體需求。官方區分輸出完全一致與近似加速，但公開版本不承諾持續維護。