AI 基礎設施
Azure 實測代理工作流暴露 CPU–GPU 碎片化，Agora 回收閒置算力仍保住尾延遲
Microsoft Azure 研究顯示，代理在模型推論、工具與協調器之間反覆切換，使 CPU 重新進入關鍵路徑，GPU 卻經常閒置。原型系統 Agora 可依工作流型態回收算力，但錯誤壓縮平行代理的 GPU 配置反而會讓尾延遲惡化 16 倍。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 基礎設施
代理工具
ABSeeker 從正確答案反推搜尋線索，4B 模型 BrowseComp 成績升至 55.3%
ABSeeker 將搜尋代理的最終成敗拆成逐步獎勵，保留失敗軌跡中的有效查詢並壓低成功軌跡中的錯誤步驟。團隊已公開 4B 權重、推論及訓練管線，但最佳成績仍倚賴額外的上下文管理與 LLM 裁判。
代理工具
KV cache 不等於「潛在思維」：錯配快取揭露多代理增益可能只是介面效應
新研究以錯配、歸零及隨機 KV cache 重新稽核多代理潛在通訊，發現移除快取造成的大幅退步，不一定證明接收者使用了發送者的特定資訊。部分自然評測中，歸零使準確率下降 14.7 點，換成其他題目的快取卻只差 0.4 點。
AI 安全
新基準發現隱性偏誤可繞過思維鏈監控，部分設定偵測率僅 5%
新研究以成對提示比較模型受到明示指令與隱性暗示影響時，思維鏈是否會留下可偵測證據。七款推理模型在部分隱性設定仍改變答案，監控器的偵測率卻比明示設定低最多 46 個百分點。
最新模型
HIVE 發現語音轉錄比鍵盤錯字更傷 LLM 推理，增加思考預算也未能補回
新研究以語音轉錄與 QWERTY 鍵盤擾動測試指令模型，發現語音造成的結構改寫會一致降低作答表現。提高推理預算幾乎可修復鍵盤通道，卻無法同樣挽救口語輸入。
推論系統
NVIDIA 以線性映射跨模型轉移 KV cache，模型切換 prefill 最快縮短至二十五分之一
新方法把同一家族小模型產生的 KV cache 映射至較大模型，避免長對話切換模型時重新處理整段提示。六組模型中僅四組保留 73% 至 98% 的原始準確率，顯示張量相容不等於語意相容。
最新模型
ParVL 以共享骨幹並行擴展多模態模型，視覺與語言算力可分別配置
ParVL 不增加多套完整參數，而是重複使用同一組 ViT 與 LLM 權重，再以分支專屬 KV prefix 區分運算路徑。研究顯示，不同任務需要不同的視覺與語言分支比例，固定配置可能浪費推論算力。
AI 安全
AgentS4D：代理完成任務不代表安全，逾六成執行同時觸發危險訊號
AgentS4D 以 328 個風險注入案例測試 20 種代理框架與模型組合，6,560 次執行中有 68% 觸發預先定義的危險訊號。更值得注意的是，4,344 次執行既完成任務又被判定不安全，顯示只看成功率會系統性漏報代理風險。
AI 安全
LatentGuard 將安全推理壓縮至連續狀態，關鍵路徑由 268.56 個文字 token 降至 1.60 個
LatentGuard 不在每次審查時生成完整安全理由，而是以分階段訓練把理由壓縮成少量潛在狀態並直接輸出判定。獨立稽核解碼器可按需還原簡短說明，但其可解釋性與效率目前只有作者實驗支持。
推論系統
Oilbird 重用驗證器隱藏狀態做語意草稿，API-Bank 解碼達自回歸 4.4 倍速
Oilbird 為免訓練推測解碼加入語意索引，找回因少量參數或 token 不同而被精確字串比對漏掉的既有續文。研究自報把三種草稿器的平均接受長度提高 24% 至 29%，但尚未釋出可獨立重現的程式碼。
代理工具
LiveEvalBench 讓代理實際建置與操作網頁，取代只比對前端截圖的靜態評測
LiveEvalBench 以建置、程式碼及瀏覽器操作三類代理蒐集證據，再依每個作品實際功能產生檢查項目。框架與資料已公開，但評分仍依賴 LLM 裁判，成本、可重現性及裁判偏差需要進一步量化。
AI 安全
MissClick 利用座標 token 位值攻擊 GUI 代理，定向誤點成功率最高達 62.67%
MissClick 不把 GUI 座標視為一般文字，而是利用百位數 token 的微小變動造成大幅點擊位移。研究在 OS-Atlas 與 UGround 上顯著提高攻擊成功率，顯示電腦操作代理不能只靠元素定位準確率評估安全性。