最新模型
同一モデルでもtoken上限によって順位が逆転、4モデルで56,476回の推論を実施
新たな研究で、4つのオープンウェイトモデルの生成上限を64から4,096 tokenまで引き上げたところ、3つの推論ベンチマークすべてで首位モデルが入れ替わった。打ち切られた出力を除外しても、予算を増やした際に正解から不正解へ転じた問題が3～19%あり、単一のtoken設定だけではデプロイするモデルを十分に選定できないことが示された。
Archive
代理工具
Agent、MCP、coding agent、工作流自動化與評測。
最新模型
代理工具
Bench2Robustが9種類のツール障害を注入、70組中69組のエージェントテストで性能が低下
Amazonの研究チームは、既存のツール使用ベンチマークを「再試行、切り替え、停止」を制御できる障害環境へと改造した。Qwen3-4Bに構造化された復旧情報を追加すると、障害下の小売タスクの合格率は最大16.8ポイント向上したが、解決不能なタスクで正しく棄権できるかは、まだ実際には検証されていない。
生成式影音與 3D
StateFlow、ショットごとの再生成を永続的な3D状態に置き換え、動画プリビジュアライゼーションのユーザー評価で4.5／5を獲得
StateFlowは、オブジェクトのジオメトリ、姿勢、セマンティック状態、カメラを編集可能な3D世界として保存し、動画モデルには視覚的な仕上げを担わせる。30人による実験では動画プリビジュアライゼーションの総合評価が4.5／5に達したが、システムは複数のクローズドモデルに依存しており、コードもまだ公開されていない。
代理工具
強力なモデルがタスク規則を harness にコンパイル、GPT‑5.4‑mini の正解率が0.488から0.912に向上
強いモデルから弱いモデルへのテスト時転移実験で、より強力なモデルが、重みを更新することなく固定された小型モデル向けにルーティング、フォーマット検査、決定論的ソルバーを実装した。最良の harness はベースラインの誤りの約83%を修正したが、その成績は規則としてコンパイル可能な心の理論ベンチマークに大きく依存している。
代理工具
長期記憶の要約が保持した時間表現はわずか3.05%、一文のプロンプトで時系列QAの正解率が31.4ポイント向上
LoCoMoを用いた実験で、汎用的な要約は人物や出来事を保持する一方、日付、時刻、継続時間を選択的に失うことが判明した。時間的アンカーを原文どおり保持するよう明示すると、時系列問題に対する評価モデルの正解率は15.6%から47.0%に上昇した。
代理工具
CTBench、234件の通信障害サンドボックスでエージェントを再評価――最高の根本原因分析精度でも47.62%にとどまる
CTBenchでは、エージェントが実機を模したインターフェースに問い合わせ、専門家が指定した証拠収集手順に沿って根本原因分析と経路復元を評価される。最良の組み合わせは経路復元精度を87.96%まで高めたものの、根本原因分析は47.62%にとどまり、取得できた重要な証拠も少なかった。
代理工具
VAKRAが8,000超のローカルAPIを再実行、エージェントの精度はマルチホップとポリシー制約で急落
IBMのVAKRAは、API、ドキュメント検索、自然言語ポリシーを単一の実行可能な軌跡に統合する。最も高性能なモデルでも、APIインターフェース別の完全正答率は50%〜70.4%にとどまった。ポリシーによって回答不能となる問題では、一部モデルの成功率が2.4%まで低下した。
代理工具
関連スキルもエージェントの足を引っ張る可能性：307件の失敗事例、その多くは誤実装と過剰な検証に起因
Microsoft Researchなどのチームが、スキルあり・なしのペア軌跡を比較し、125件の機能的失敗と182件の効率低下事例を確認した。問題の多くはスキルとの関連性ではなく、エージェントが汎用的な例、検証チェックリスト、環境に関する前提をタスクの必須要件と誤認したことにある。
代理工具
DashArena、モデルに再生可能な操作トレースの添付を要求 ダッシュボードの「表示できるが使えない」ギャップを可視化
DashArenaは、234件のオープンエンドなタスクを用いて、モデルが生成したインタラクティブなデータダッシュボードを評価し、モデル自身が記述した操作手順をブラウザ上で実際に再生する。インタラクションの証拠を加えると、8Bの視覚評価モデルと人間の選好との一致率は71.7％から79.8％に上昇したが、最良モデルでも完全再生率は73.3％にとどまった。
AI 安全
IO Factory、10万体のシミュレーション人格でAI影響工作を再現──ただし現実の説得効果は推定できず
IO Factoryは、ナラティブ計画、エージェントによる投稿、プラットフォーム上の露出、オーディエンス状態の更新、ベースライン比較を、追跡可能なシミュレーションのライフサイクルとして統合した。10万体の模擬市民と1万体の工作エージェントという設定で実行を完了しているが、影響を示すすべての数値は、人為的に設定されたルールとLLMジャッジに基づく。
代理工具
ReTree、証拠の矛盾時に探索木をロールバックし、Qwen3‑8Bの総合回答精度を30.1％から44.0％へ向上
ReTreeは、探索エージェントの要約、証拠の出典、改訂履歴を依存関係ツリーとして保存する。新しい情報が従来の前提を覆すと、システムは誤りが持ち込まれたノードまで戻り、影響を受けた分岐を削除する。4つの探索ベンチマークでは、各ステップのコンテキストを短縮しながら回答を改善した一方、ハードプルーニングによって、実際には矛盾の影響を受けない情報まで失われる可能性がある。
代理工具
SKILLER、SKILL.mdを最適化可能な方策として扱い、Qwen3.5‑9Bがソフトウェアエンジニアリング評価で82.8%を達成
SKILLERは小規模モデルの重みを更新せず、強力なモデルが実行トレースと検証器のフィードバックに基づいてテキスト形式のスキルを反復的に修正する。Qwen3.5‑9BはSWE‑Skills‑Benchで、3回の実行における平均スコアをスキルなしの26.2%から82.8%へ向上させた。ただし、スキル生成は依然としてGPT‑5.4と成功例の参照トレースに依存する。