所有文章 · SURL AI News

RepoComplianceBench：四款程式代理幾乎不會主動讀取開源專案的 AI 貢獻規則

研究以 49 個真實儲存庫的 106 項任務測試拒絕、揭露、驗證及人工交接規則，四款前沿模型預設都很少主動尋找政策。明示規則或加入驗證器能改善揭露與測試，但代理在所有受測條件下都沒有遵守「禁止 AI 貢獻」的要求。

MANTA 依任務建立代理通訊圖，再從執行軌跡偵測協作異常並有限度改寫角色、連線與驗證順序。以 Gemma 4 31B 測試時，其五項基準平均得分達 74.0，但實驗樣本與重複次數仍偏少。

新一輪同價位本機 AI 測試顯示，M4 Max 憑 546GB/s 統一記憶體頻寬，在三款量化模型的逐 token 解碼領先 GB10 與 Strix Halo。GB10 的 prompt prefill 與整體能效仍佔優，單看 tokens/s 會錯估實際回應時間。

GitHub 已於 7 月 30 日關閉 Models 的 playground、模型目錄、推論 API 及自帶金鑰功能，既有付費使用者也不例外。依賴其端點的應用必須遷移至 Microsoft Foundry、其他模型閘道或自建供應商抽象層。

研究團隊人工複核 150 條被標為失敗的公開軌跡，發現 10.7% 是評分器假陰性，另有 4.7% 源自不可完成的題目。真正的失敗也主要發生在規劃與結果驗證，而非滑鼠定位或工具執行。

MIND 不再逐條呼叫大型模型審核記憶，而是比較原始意圖與後續行為的壓縮表示，再用多超平面分類器攔截中毒內容。四款模型的受控實驗顯示攻擊成功率下降、平均延遲接近無防禦基線，但程式碼尚未公開。

AgenticASR 把語音辨識與文字整理拆開，讓小型 Refiner 隨新語音重寫有限範圍的既有輸出，而不必反覆處理完整逐字稿。程式、檢查點與 917 題中英雙語基準已公開，但主要音訊由語音合成產生，評分也依賴 LLM 裁判。

QuantWAMs 針對同時生成未來畫面與機器人動作的模型，將量化校準改成結構、聯合目標與閉環軌跡三層決策。兩款模型的模擬成功率與 FP16 相差 0.2 至 0.7 個百分點，但速度數據只涵蓋特定運算模組，真機比較也只有每項十次試驗。

一項 OSWorld 實驗顯示，本機 GUI 代理加入少量畫面歷史可明顯降低重複操作，但繼續延長上下文或步數主要是在改變失敗型態。兩階段規劃架構也因格式與協調成本落後單一代理，平行產生更多計畫只能以高昂 token 成本追回部分差距。

Qwen 團隊提出跨手機、桌面、網頁與深度搜尋環境的統一 GUI 代理，並讓畫面操作與 CLI 指令共用同一動作空間。技術報告宣稱其在 OSWorld-Verified 達 79.5%，但模型權重、訓練資料與完整軌跡尚未公開。

OSReward 以 1,019 條人工複核的跨平台軌跡測試 27 款視覺語言評審，發現主要錯誤是把未完成任務判成成功。移除逐步文字使準確率平均下降 7.2 點，改動畫面輸入影響較小，暴露現有「視覺評審」對代理自述的依賴。

Tycho 把未知遊戲規則寫成可執行的狀態轉移模型，再依驗證結果決定修正或繞過模型。GPT-5.6 Sol 與 Claude Opus 5 在一次公開集測試中完成全部 183 個關卡，但結果仍高度依賴前沿 API、單次執行與公開題目。