所有文章 · SURL AI News

三套代理基準的模型主效應低於 3%，DDR 將排行榜改寫成部署可靠度問題

一項新研究以廣義性理論拆解 TheAgentCompany、τ²-bench 與 AppWorld，發現代理與任務的交互作用遠大於代理本身的平均差異。作者提出 DDR 報告框架，要求選型時同時交代任務難度、留出驗證、成本與所需樣本量。

Graph-Structured Rubrics 在看見待評答案前，先把自然語言 rubric 編譯成具型別的判斷、轉換、聚合與閘門節點。GPT‑OSS‑120B 實驗顯示它優於平面式 Prometheus 評分，但目前未公開程式，增益亦高度依賴資料集。

一項預先註冊研究發現，Qwen2.5-7B 與 Llama-3-8B 在多數 GPQA Diamond 題目上愈投票愈容易鎖定錯誤答案。整體平均分數仍略升，顯示聚合指標會掩蓋逐題退步。

MiniMax H3 以單一 Transformer 聯合預測影音 latent，支援文字、首尾幀及多模態參考生成。公開版本可本機產生 768p 影音，但官方 2K 流程仍依賴兩個未開源的雲端模組。

Harness‑IF 將規則分散到系統提示、專案檔案、使用者指令、工具與技能描述，再以實際執行證據逐條評分。12 款前沿模型面對違反自身預設傾向的規則時，準確率一致下降。

LTX‑2.5 公開 22B 可訓練及八步蒸餾權重，新增跨鏡頭角色、聲音與場景一致性。完整快速入門元件約 66 GiB，Diffusers 支援仍須安裝主分支，模型也受營收門檻式社群授權限制。

阿里千問公開 Qwen3.8‑2.4T‑A95B，以 512 個專家、混合線性與標準注意力支援最長約 101 萬 token。模型可調整推理深度，但只接受文字、不能關閉思考模式，實際部署門檻遠高於一般開放權重模型。

一項新研究把四款開放權重模型的生成上限由 64 提高至 4,096 token，三項推理基準的領先模型均曾改變。排除截斷後仍有 3%至19%題目在增加預算時由對轉錯，顯示單一 token 設定不足以支撐部署選型。

Amazon 研究團隊把既有工具使用基準改造成可控制「重試、切換或停止」的故障環境。Qwen3-4B 加入結構化復原資訊後，受干擾零售任務通過率最高增加 16.8 個百分點，但系統尚未真正驗證不可解任務上的正確棄權。

Anthropic 將為 2026 年 8 月 2 日後推出的 Claude 模型加入模型層文字水印，並為支援的檔案嵌入 C2PA 簽章來源資料。水印只能證明內容可能經 Claude 處理，不能證明作品由 AI 原創，公開偵測工具與實測準確率亦尚未公布。

StateFlow 把物件幾何、姿態、語意狀態及攝影機保存成可編輯的 3D 世界，再讓影片模型負責視覺潤飾。30 人實驗給予其影片預視 4.5／5 的整體評分，但系統依賴多個封閉模型，程式亦尚未公開。

一項強到弱測試時轉移實驗，讓較強模型替固定的小模型編寫路由、格式檢查與確定性求解程式，而不更新其權重。最佳 harness 修正約 83% 的基線錯誤，但成績高度依賴可被編譯成規則的心智理論基準。