所有文章 · SURL AI News

vLLM 在 Ironwood TPU 支援 16K embedding，StepPool 保存分段 prefill 狀態

Google 與 vLLM 為 Qwen3 embedding 模型加入張量對齊、編譯預熱及可跨分段累積的 pooling 狀態。官方在四顆 Ironwood TPU 上報告約 8.4 萬 token/s，但尚未提供同成本 GPU 對照或真實檢索品質測試。

IBM 發布 3B、8B、30B 三款 Apache 2.0 密集模型，加入可切換推理模式與原生工具呼叫。8B、30B 額外在程式庫、終端及搜尋沙箱中接受代理式強化學習，但官方資料對基礎訓練沿革的描述並不一致。

OpenAI 首度公布自研推論 ASIC 的實測結果，並以單一加速器架構同時處理 prefill 與 decode。SemiAnalysis 現場核對測試過程，但數據仍由 OpenAI 提供，量產晶片與 AgentX 成績尚待驗證。

Hugging Face 新版把舊 tensor-parallel 實作換成 DTensor，並加入初步 pipeline-parallel 推論與 NVFP4 即時量化。升級同時改動 TP、Fuyu 及部分音訊模型行為，現有訓練與推論管線需要回歸測試。

Google 團隊提出 PPE，把自然語言問題轉成資料搜尋、特徵融合、模型選擇與地理預測管線。系統在多項作者評測超越人工基線，但疫情結果目前只涵蓋一次剛果民主共和國伊波拉疫情。

WPI 團隊展示如何從 FPGA 的暫存器與區塊記憶體恢復量化權重、activation 及其他 LLM 資產。攻擊需要晶片實體存取與可重播狀態，而且實驗並未完整抽取一個商用大模型。

新框架讓 coding agent 維護規則與長期後果，再把狀態編譯成深度及語義代理影片，約束 MiniMax-H3 生成畫面。原型展示了五組受控場景，但沒有量化基準、消融實驗或即時生成結果。

Z.ai 開放首款原生多模態 GLM-5 模型，320B 總參數中每次僅啟用 18B，並支援最長 100 萬 token。官方量測顯示注意力運算與 KV cache 分別較 GLM-5.3 減少 3 倍及 4.4 倍，但成績與成本仍主要由廠商自行評估。

新版同時加入 Decode Context Parallel、融合式 FlashKDA 核心及自適應推測 token 預算，並讓 DeepSeek V4 的稀疏 MLA 貫通一般與推測解碼。部分速度數字只量度個別核心或特定 DSpark 配置，升級前亦須處理預設值與外掛介面的破壞性變更。

MLCommons 新增端到端 RAG 推論基準，分別量度向量資料庫建置與多跳問答吞吐量。為控制生成的不確定性，效能測試重播預先記錄的各階段輸入，因此不能完全代表線上 RAG 的動態行為。

上海人工智能實驗室等團隊發布 4B 參數 StepGuard，以成對的安全／危險軌跡和 Balance-GRPO 校準過度攔截與漏攔截。它在兩項代理環境大幅降低攻擊成功率，但訓練語料及資料生成器尚未公開，對規範性違規亦仍會漏判。

SemiAnalysis 開放長上下文、多回合及子代理並發的 AgentX，讓推論系統不再只以固定長度提示詞比較吞吐量。資料保留請求時序與 KV-cache 重用形狀，但來源集中於 Claude Code，且量測的是服務系統效率而非程式任務正確率。