代理工具
AI4AI-Bench、エージェントに10種類の学習アルゴリズムの書き換えを要求――最高システムの平均スコアはわずか0.250
AI4AI-Benchは、ハイパーパラメータ調整と学習手法そのものの変更を分けて評価し、コーディングエージェントにゼロから再実行可能な学習コードの提出を求める。6システムによる290回のテストでは、4割超が元のアルゴリズムを下回った。推論強度を高めても、主にエージェントが中核的な学習メカニズムへ手を加えやすくなるだけだった。
Archive
代理工具
Agent、MCP、coding agent、工作流自動化與評測。
代理工具
代理工具
Brain Researcher、脳画像エージェントの初手ツール選択率を23.3%から93.6%へ向上
Brain Researcherは、知識グラフ、型付きワークフロー、レビュー規則によって神経画像解析エージェントを制約し、仮説、証拠、実行の来歴を保存する。ツールルーティングは大幅に改善したものの、検証可能な証拠の実装率は依然として22.0%にとどまり、自動レビューでも方向性に関する統計的誤りを見逃したことがある。
AI 安全
SafeBranch、同一状態で安全な分岐をペアリングし、IS-Benchの安全成功率を0.031から0.281へ向上
SafeBranchは、エージェントの危険な軌跡を重要な意思決定地点までロールバックし、同一コンテキスト内の安全な行動と安全でない行動のみを比較する。学習後のデプロイには外部criticが不要だが、現時点の成果はシミュレーション上の家庭環境に限られ、データ構築も依然としてGPT-4oの判定に依存している。
最新模型
ConceptGuardは同一概念の善用と悪用をペアリング、最良条件でも分離スコアはわずか0.38
ConceptGuardは、忘却セットと保持セットを互いに無関係な事実として扱うのではなく、同じ技術の有害な用途を抑制しながら正当な用途を保持するようモデルに求める。4種類のアンラーニング手法はいずれも忘却と有用性のトレードオフを示し、その効果は概念ごとに大きく異なった。
推論系統
FormalTCS、175問のLean課題で研究プロセスを評価——自動形式化の最高スコアはわずか11.5点
FormalTCSは、過去2年間のトップ理論計算機科学論文から研究レベルの問題を抽出し、自然言語による主張から機械検証可能な証明を生成するまでのモデル能力を段階別に測定した。既に形式化された定理の証明では、最高性能のモデルがPass@8で28.6を記録した一方、自然言語を正しいLeanの定理文へ変換する工程が依然として最大のボトルネックとなっている。
AI 安全
Forge 0.18.1、MCPにユーザー単位のOAuthを導入、ツール呼び出しは認可完了を待って再開可能に
オープンソースのエージェント実行環境Forgeは、MCP接続と認証情報をユーザーごとに分離し、OAuth 2.1のメタデータディスカバリーと動的クライアント登録を自動化できるようになった。新版では、きめ細かなアウトバウンド制御と承認監査も追加されたが、現時点のMCPサポートは依然として主にHTTPトランスポートに限られる。
AI 安全
MaliciousSkillBench、9,740件のエージェントスキルを集約――ソース横断検出でMacro-F1が0.665に低下
新ベンチマークは、13の公開ソースから収集したエージェントスキルを重複排除し、構造ファミリー単位で分割することで、類似サンプルが訓練セットとテストセットの両方に混入するのを防いだ。最高性能のテキスト分類器はランダム分割で優れた結果を示した一方、未知のソースに対しては良性スキルの62.4%を悪意あるものと誤判定した。
代理工具
NemoClaw 0.0.113、ローカル推論の検証を強化し、サンドボックス再構築後のMCP認証情報の再発行に対応
NVIDIAはオープンソースのエージェント実行スタックを更新し、vLLM、llama.cpp、Ollama、モデルルーターにおける状態ドリフトへの対処を重点化した。新版ではサンドボックスのライフサイクル、イメージの出所証明、障害復旧も厳格化されたが、依然として急速なイテレーションの途上にあるパッチリリースだ。
代理工具
SWE-bench Scienceは20の科学分野を収録、最優秀のコーディングエージェントでも119問中47.90%しか解決できず
SWE-bench Scienceは、98の実在する科学ソフトウェアリポジトリを用いて、単位、座標系、数値的不変条件、ファイル形式などの暗黙的な契約を検証する。Claude CodeとOpus 5の組み合わせが暫定首位だが、pass@1は依然として50%未満で、エンジニアリング統合問題ではわずか27.78%にとどまった。
代理工具
Thinkingbox、バックエンド状態で507件の企業ワークフローを検証――最良のエージェントでも20回連続全問正解は25.25％
MicrosoftがThinkingboxをオープンソース化した。隔離されたMCPツール環境と実行可能なアサーションを使い、応答内容やツール呼び出しの正当性だけでなく、エージェントが実際に作業を完了したかを検証する。最良のシステムは単発成功率65.36％を記録したが、同一タスクで20回連続の成功を求めると25.25％にとどまった。
Task-CoEvolve、検証タスクを20%だけ抽出し、harness探索のtokenコストを67～80%削減
Task-CoEvolveは、候補harness間の過去の差異に基づいて検証タスクを動的に選択し、抽出確率を用いて全体スコアを推定する。Terminal-Bench 2.1では全量探索に近い性能を示したが、論文では探索と評価に同一のタスク群を使用しており、コードもまだ実際には公開されていない。
推論系統
ReCache、ツールschemaを再利用可能なKVブロックに分割し、割り当てメモリを92.43%削減
ReCacheは注意機構と位置エンコーディングを改変し、リクエスト間で個々のツールやスキルのKV cacheを再利用できるようにする。Qwen3の実験ではTime to First Token（TTFT）が最大3.655倍高速化したが、モデルのfine-tuningが必要であり、そのまま適用できる推論プラグインではない。