代理工具
HarnessOpt-Bench、エージェントハーネスの最適化をベンチマーク化――モデル選択の影響はcoding harnessの約1.8倍
HarnessOpt-Benchは、固定された評価予算内でモデルにプロンプト、ツール、メモリ、制御フローを変更させ、非公開テストセットで実際の改善幅を測定する。111件の実験では、モデル自体による差が外側のcoding harnessによる差を上回った一方、ネイティブツールが一貫して優位とは限らなかった。
Archive
代理工具
Agent、MCP、coding agent、工作流自動化與評測。
代理工具
代理工具
TrajDebugがエージェントのエラーライフサイクルを追跡、失敗診断により再実行の成功率が平均10.8%向上
TrajDebugは、エージェントの軌跡で最初に発生したエラーをそのまま根本原因とは見なさず、エラーが修復されたか、最終結果に影響を残したか、復旧予算を消費したかを追跡する。チームが人手でアノテーションした486件の軌跡で検証したところ、診断結果をプロンプトに変換することで、同一タスクの再実行成功率が平均10.8%向上した。
最新模型
新研究、Adamが行列分解の対称性を破り、同一の関数でも異なる注意表現に収束し得ると指摘
研究は、Adamと低ランク復元の差異を、座標ごとの前処理器が gauge equivariance（ゲージ同変性）を持たないことに帰着させた。公開実験では、機能的に等価な2つの初期化をAdamで学習した結果、注意機構の不変量に56%の差が生じたが、この結論は大規模モデルの事前学習ではまだ検証されていない。
最新模型
DASH、推論軌跡に応じて蒸留重みを動的に配分——Qwen3の3モデル規模すべてで固定重みベースラインを上回る
DASHは、各tokenにおける教師—学生間の差異を一律に扱わず、生成軌跡全体に基づいて監督を前方へ伝播させる距離を調整する。著者らは3つの数学ベンチマークで安定した性能向上を報告し、訓練コード、評価パイプライン、LoRA重みも公開した。
Reasoning Core 以 50 種程序生成器擴充監督資料，3B 模型 DROP F1 由 33.1 升至 41.7
Reasoning Core 用可執行評分器、難度控制與短答案格式產生數學、規劃、形式證明及程式題。匹配訓練實驗顯示它優於三套程序資料集，但作者也在外部資料庫發現生成器與評分器不一致。
代理工具
36,710件のGitHubプロジェクトから見つかったAgent Planはわずか85件、大半は長期保守される文書ではない
新たな研究は、常設のAGENTS.mdと単一タスク向けのAgent Planを区別し、計画が公開バージョン履歴にどのように取り込まれるかを調査した。サンプルは少数のプロジェクトに大きく集中しており、「計画を協働成果物として扱う」実務が、依然として初期段階かつ不安定であることを示している。
代理工具
Meta、Muse Codeを発表：永続バックグラウンドエージェントとイベントログで長時間のコーディングタスクを支援
Muse CodeはMuse Spark 1.2をターミナルエージェントとして提供し、隔離されたGit worktree内で大規模コードベースを並列処理できる。追記専用イベントログによりプロセス中断後も状態を再構築できるが、性能値は依然として主にMeta自身が提示したものだ。
AI 安全
Canary Tools、エージェントのツール選択ミスを6分類――8モデルの誘導されやすさに約36倍の差
新たな評価手法は、MCPのツール一覧にセマンティック・デコイ、パラメータ・トラップ、能力の幻想などの指向性プローブを仕込み、誤った呼び出しからエージェントの選択上の弱点を特定する。11,520回の実験では、モデルの性能階層から安全性を安定して予測できないことが判明。また、誘導された後に自力で誤った経路から離脱できるかどうかによって、タスク成功率は16%から52%まで上昇した。
代理工具
Argus、固定重みのエージェントに経験を蓄積させ、SWE-Bench Proの精度を59％から約78％へ向上
Argusは長期タスクを制約付きのmissionに分割し、Manager、Planner、Engineer、Reviewerが共同で永続化可能な状態を維持する。著者らの報告では、tokenコストを1.41倍にすることでプログラム修復の成績を向上させたほか、エージェントが生成したRWKV6カーネルも外部からの修正を経てオープンソースプロジェクトにマージされた。
代理工具
ContextWeave、1,000件超の実行可能なオフィスタスクでエージェント記憶を再評価、Preference Scoreは41.50から70.60へ
ContextWeaveは、エージェントが過去の情報を取り出せるかだけでなく、その記憶が後続の文書作成やオフィス業務を改善できるかを検証する。実験では、行動につながる完全な経験を保持する手法が短い要約を上回った一方、誤った記憶も実行結果に影響しやすくなることが示された。
代理工具
MatrAIx、1,290次元の属性から83億のペルソナを合成、AI製品テスト向けの100万件規模のコアセットをオープンソース化
MatrAIxは、相関する人口統計属性を組み合わせて83億件の模擬ユーザーを生成し、ペルソナエージェントにアンケート、チャットボット、Webサイト、アプリケーションを操作させる。チームは約100万件のコアデータと評価プログラムを公開したが、現時点の検証で示されているのは、エージェントが指定された役割に従うことだけであり、実ユーザーによるテストを代替できることまでは証明されていない。
AI 基礎設施
Azureのエージェントワークフロー実測でCPU–GPUの断片化が明らかに、Agoraはアイドル計算資源を回収しつつテールレイテンシを維持
Microsoft Azureの研究により、エージェントがモデル推論、ツール、オーケストレーターの間を繰り返し切り替えることで、CPUが再びクリティカルパスに入り、その一方でGPUは頻繁にアイドル状態になることが示された。プロトタイプシステムのAgoraは、ワークフローの特性に応じて計算資源を回収できるが、並列エージェントへのGPU割り当てを誤って縮小すると、テールレイテンシがかえって16倍に悪化する。