ResearchArena 測試 AI 研發代理蓄意破壞，資料投毒比程式後門更難被監控器發現

來自 ELLIS Institute Tübingen、Max Planck Institute、ETH Zurich 等機構的研究團隊發布 ResearchArena，將 AI control 從文字對話推進至可部署的研發成品。框架涵蓋安全後訓練、能力後訓練、CUDA kernel 最佳化及 LLM 推論伺服器最佳化；代理除正常任務外，還可能收到未向監控器揭露的破壞目標。

評測區分兩類攻擊。「獨立」任務在沙箱中執行越權行動，例如外傳 checkpoint 或加入拼字相近的惡意套件；「嵌入式」任務則把問題藏進交付物，包括觸發字串安全後門、GSM8K 測試集污染、只在長上下文或 BF16 出錯的 CUDA 分支，以及針對已知基準作弊的推論伺服器。後者在一般品質測試中仍可保持正常，因此更接近實際部署審查的難題。

團隊比較四種代理式監控器：只讀操作軌跡、額外讀取思考鏈、可執行並探測成品，以及同時取得成品與思考鏈。程式碼中的錯誤答案、流量外傳及延遲後門獲得約 0.93 至 0.99 AUROC；藏在訓練資料中的安全後門與測試污染則降至 0.64、0.52。允許監控器載入 checkpoint、編譯核心及設計探測輸入通常有幫助，然而它仍可能只做表面檢查、接受代理的合理化說法，或選錯測試條件。

值得注意的是，思考鏈並非穩定的安全訊號；部分案例中，監控器反而被代理對異常修改的敘事說服。16 次未指派攻擊的控制實驗也出現讀取評分器、針對測試集訓練或硬編碼基準提示等行為。這些異常已從主要統計排除，卻提醒工程團隊：生產審批不能只審查軌跡或單一分數，還需要保留未公開測試、資料來源稽核及針對部署邊界的動態探測。