代理工具
OEO、GPT‑5.5にエージェント改善プロセスを自己編成させ、14件の比較で12勝
Open-Ended Optimizationは、目標、データ境界、インタラクション権限、評価を固定する一方、エージェントがどのように証拠を収集し、スキルを修正するかは事前に規定しない。GPT‑5.5をオプティマイザーとして用いた場合、多くの設定でSkillOptやGEPA系のプロセスを上回ったが、中程度およびより弱いモデルでは同様の優位性を維持できなかった。
Archive
代理工具
Agent、MCP、coding agent、工作流自動化與評測。
代理工具
AI 安全
LLMの脆弱性検証成果物を再実行した結果、30件中、修正版による反証を通過したのは10件のみ
事前登録された再現性監査により、実行可能でクラッシュを引き起こす脆弱性PoCであっても、指定されたCVEを実際に再現しているとは限らないことが判明した。調査対象30件のうち20件では修正版でも同じシグナルが発生しており、AIエージェント向けセキュリティベンチマークには、文字列や終了コードより厳格な判定器が必要であることが示された。
代理工具
DSLE、『DARK SOULS』のボス戦22種をGymnasium環境としてラップするも、公開リポジトリはいまだ空
DSLEはDocker、Wine、仮想ディスプレイ、プロセスメモリの読み取りを活用し、市販ゲームのリアルタイム戦闘を並列リセット可能な強化学習ベンチマークへと変換する。5種類のベースラインのうち、安定して攻略できたのはチュートリアルのボスだけで、論文で公開済みとされているコードも現時点ではリポジトリに存在しない。
AI 編程工具
Coderlet、読みやすいコーディングエージェント制御層を公開。ただしサンドボックスと自動テストは未実装
Coderlet は、モデル呼び出し、ツール検証、実行結果、永続メモリを3つの明確な境界に分け、MIT License の下で実行可能な Python 実装を提供する。エージェントの制御フローや障害復旧の研究には適しているが、より高性能なコーディングエージェントというわけではなく、現時点ではユーザーの OS 権限をそのまま使用する。
醫療 AI
AMIE Video、リアルタイム診療を3エージェントに分割、模擬臨床評価で83%を達成
Googleは、低遅延対話、詳細な臨床計画、映像・音声知覚を3つの非同期エージェントに分割した。100件の模擬ビデオ診療シナリオにおける総合評価は、医師群の68%を上回った。ただし、研究ではプロの模擬患者しか使用されておらず、モデル、コード、映像・音声データも公開されていないため、実際の医療現場への導入に結果を直接一般化することはできない。
代理工具
直接的な座標生成をレイアウトマッチングに置き換え、GUI グラウンディングが ScreenSpot-Pro で 41.3%を達成
北京大学の研究者は、マルチモーダルモデルを操作意図の解釈だけに用い、その後 Text／Icon 候補検出器と凍結した CLIP でクリック領域を選択する手法を提案した。ScreenSpot-Pro の精度は、掲載された最良ベースラインの 18.9%から 41.3%へ向上した。ただし、論文がいう「回帰なし」は最終マッチング段階に限られ、候補ボックス検出器自体は引き続きバウンディングボックス回帰損失を使用している。また、実装はまだ公開されていない。
最新模型
Open-EA、視覚生成評価エージェントを3Bに小型化。ただし現時点で完全対応するのはVBenchの動画ワークフローのみ
Open-EAは、複数ターンの視覚モデル評価軌跡を10,042件の教師ありデータに整理し、従来GPT-4oに依存していた計画ワークフローをローカルのEA-3Bへ移植した。モデル、データ構築手法、runtimeは公開されたが、「評価時間を従来手法の10%に短縮」という結果は主に元のAPIベースのエージェントによるものであり、EA-3B全般の効率を保証するものとは直接みなせない。
最新模型
TIDEが教師—生徒間のミスマッチを修正、Qwen3の推論Avg@8が6.9%から20.3%に向上
TIDEは、高いtoken一致率をそのまま蒸留の成功とは見なさず、生徒による過剰生成と、教師が選好するtokenの取りこぼしを個別に処理する。強いミスマッチ設定では、平均回答長も同時に3.6分の1へ短縮した。一方、完全な訓練の再現には依然として8基のGPUが必要で、著者らはcheckpointを公開していない。
AI 安全
ElasticBack、単一のAgent Skillに条件付きバックドアを埋め込み、大半のモデルで誤作動率を2%以下に抑制
ElasticBackは悪意あるルールを`SKILL.md`に隠し、自然言語内の特定の概念を起動スイッチとして利用するため、モデルの重みを変更する必要がない。実験では、複数の静的チェックと実行時チェックを回避できた一方、Claudeでの誤作動率は依然として20～24%に達した。
代理工具
QueryProof、ルールゲートで誤ったSQLを阻止——7BエージェントのBusiness Truth Rateは56.2%
QueryProofは、曖昧性判定、SQL allowlist、実行後検証を決定論的ルールに委ね、モデルには指標の解釈とSQLの草案作成だけを担当させる。80問の固定テストセットでは、同じルール基盤を持たない32Bベースラインを上回ったが、問題タイプのファミリー単位でリサンプリングすると、優位性を示す区間は依然としてゼロをまたいだ。
代理工具
P³、プログラムと証明を事前に共同設計し、Leanの問題解決率を4.6～11.2ポイント向上
P³は、エージェントがコードを書く前に、実装構造、補助補題、証明の分解方法を共同で計画し、実装後に証明を繰り返し修正する事態を防ぐ。3つのLean 4ベンチマークにおける全モデル構成で比較対象のワークフローを上回ったが、最難関のリポジトリタスクでは、最高でも22.2%しか解決できなかった。
硬體
ArchAgent v2、エージェント進化で3層プリフェッチャを設計、DPC4シミュレーション性能で人間設計の王者をわずかに上回る
ArchAgent v2はL1D、L2、LLCの各プリフェッチャを段階的に進化させ、リアルタイムの容量チェックによってハードウェア予算を超える候補を排除する。最終設計はDPC4シミュレーション環境で人間設計の王者BertiGOを0.3％上回ったが、実チップではまだ検証されていない。