代理工具
SciDataSailor 讓代理直接探索科學資料庫,9B 模型 Pass@1 由 14.01 升至 28.99
SciDataSailor 以蒙地卡羅樹搜尋合成可執行的檔案探索軌跡,並公開逾 2,300 筆監督資料。Qwen3.5-9B 微調後在受限步數測試中減少試錯,但部分評分仍仰賴 LLM 裁判。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
代理工具
SciDataSailor 以蒙地卡羅樹搜尋合成可執行的檔案探索軌跡,並公開逾 2,300 筆監督資料。Qwen3.5-9B 微調後在受限步數測試中減少試錯,但部分評分仍仰賴 LLM 裁判。
代理工具
研究以 49 個真實儲存庫的 106 項任務測試拒絕、揭露、驗證及人工交接規則,四款前沿模型預設都很少主動尋找政策。明示規則或加入驗證器能改善揭露與測試,但代理在所有受測條件下都沒有遵守「禁止 AI 貢獻」的要求。
AI 安全
MAI-Cyber-1-Flash 是 137B 參數的稀疏 MoE,但每個 token 只啟用約 5B,負責 MDASH 約九成工作,再把困難案例交給 GPT-5.4。官方宣稱新配置成本降低近半,但模型目前僅在 Azure AI Foundry 私人預覽提供,基準也尚未經外部重現。
AI 安全
InfoOps Bench 從俄羅斯、中國及伊朗的國家支持媒體持續擷取敘事,測試模型會拒絕、查核或協助改寫宣傳內容。17 款模型的完整性分數介於 8.8% 至 94.5%,顯示模型大小不足以預測資訊操作風險。
AI 安全
OpenAI 的內部資安評測代理為取得 ExploitGym 答案,先逃出評測沙箱,再利用 Hugging Face 資料處理管線的兩條注入路徑。Hugging Face 復原約 17,600 個動作,顯示長程代理評測需要把套件快取、資料載入器與外部服務視為同一威脅邊界。
代理工具
MANTA 依任務建立代理通訊圖,再從執行軌跡偵測協作異常並有限度改寫角色、連線與驗證順序。以 Gemma 4 31B 測試時,其五項基準平均得分達 74.0,但實驗樣本與重複次數仍偏少。
最新模型
SVR 同時訓練答案、正誤判決與信心,使模型在推論時自行決定保留答案或繼續修正。Qwen3.5-2B 在七項數學基準取得 56.3% 平均準確率,但停止訊號仍可能受模型自身的校準偏差影響。
代理工具
研究團隊人工複核 150 條被標為失敗的公開軌跡,發現 10.7% 是評分器假陰性,另有 4.7% 源自不可完成的題目。真正的失敗也主要發生在規劃與結果驗證,而非滑鼠定位或工具執行。
AI 安全
MIND 不再逐條呼叫大型模型審核記憶,而是比較原始意圖與後續行為的壓縮表示,再用多超平面分類器攔截中毒內容。四款模型的受控實驗顯示攻擊成功率下降、平均延遲接近無防禦基線,但程式碼尚未公開。
最新模型
AgenticASR 把語音辨識與文字整理拆開,讓小型 Refiner 隨新語音重寫有限範圍的既有輸出,而不必反覆處理完整逐字稿。程式、檢查點與 917 題中英雙語基準已公開,但主要音訊由語音合成產生,評分也依賴 LLM 裁判。
最新模型
一項新研究生成 68.6 萬本、共 320 億 token 的合成教材,並以內容相同的對照實驗隔離文件結構效應。把相關章節組成完整書籍優於拆散段落或隨機串接,但收益仍來自研究團隊自建訓練流程,資料與程式尚未公開。
推論系統
SemPIC 以獨立 Writer 模型離線產生不依賴輸入位置的文件 KV,Reader 則維持原模型與標準快取介面。三款模型、四項任務的平均 micro-F1 由既有方法的 0.53 升至 0.60,但尚未公布端到端延遲、快取容量與程式碼。