代理工具
Orcetra、自らAutoMLベンチマークの歪みを公表:同一サブセットでの勝率が59.4%から34.3%に低下
Orcetraは当初、513件のOpenMLデータセットでFLAMLとAutoGluonを大幅に上回ったと主張していたが、著者による監査でテストセットのリークと計算資源の不公平が判明した。プロトコル修正後、再実行したサブセットでは3システム間に統計的有意差は見られなかった。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
代理工具
Orcetraは当初、513件のOpenMLデータセットでFLAMLとAutoGluonを大幅に上回ったと主張していたが、著者による監査でテストセットのリークと計算資源の不公平が判明した。プロトコル修正後、再実行したサブセットでは3システム間に統計的有意差は見られなかった。
代理工具
Googleのチームは、模擬患者、文書作成ツール、多次元の臨床報酬を組み合わせ、Gemini 3.5 Flashにマルチターン強化学習を実施した。モデルは敵対的な問診で危険な兆候の見落としを減らしたが、訓練システムはオープンソース化されておらず、実患者を対象とする前向き検証も完了していない。
代理工具
Shepherdはモデル呼び出し、ツール操作、ファイル変更を永続的な実行トレースとして記録し、変更がワークスペースに反映される前にユーザーが確認または破棄できるようにする。一方、最新のドキュメントでは、論文とプロジェクトのホームページで紹介されているmeta-agentによる委譲、実行中のフォーク、自動再試行インターフェースが、v0.3.0でそのまま利用できる機能ではないことも明記されている。
AI 安全
独立したテストにより、MetaのMuse Codeは起動時にユーザーのホームディレクトリ内にある`CLAUDE.md`と`AGENTS.md`を探し、その内容をモデルエンドポイントへ送信するコンテキストに組み込むことが判明した。この互換性設計は任意のファイルの流出を意味するものではないが、本来は別のプロバイダーだけに渡すことを想定していた個人ルール、内部パス、機密性の高いプロンプトがMetaに送信される可能性がある。
最新模型
CellWorldはマスクされた遺伝子値を直接再構成せず、近傍細胞と少量の発現ヒントからtarget encoderの潜在表現を予測する。コードと学習設定はMIT Licenseで公開済みだが、事前学習済み重みは依然として承認制の非公開リポジトリに置かれている。
最新模型
AgentPatchは、モデルのマージ後に生じた弱点を特定し、エキスパートモデル固有の残差と重要なFFNニューロンのみを復元する。出力は単一の静的checkpointで、ルーティングや推論時のエージェントを必要としないが、完全な評価adapterとモデルweightsはまだ公開されていない。
GitHub Repo
AIPOCHのApache-2.0デスクトップワークベンチは、モデルエージェント、Python/Rカーネル、科学データコネクタ、イミュータブルな成果物バージョンを統合する。8月9日のアップデートではコンテキスト圧縮が可視化され、Codex MCPの承認とWindowsでのnotebook実行に関する問題が修正されたが、移植可能な完全リプレイにはまだ対応していない。
AI 安全
OpenAIは、Astraのエージェント型コーディング能力とサイバー攻防能力が進歩したため、モデルが最高リスクの閾値を超えた可能性を排除できないと説明した。同社はテスト環境を隔離し、ツールとネットワークへのアクセスを制限するとともに、監視モデルでエージェントの推論過程と高リスクな行動を検査している。
代理工具
DiDPOは、エージェント実行全体の成否をすべてのtokenに均等配分せず、複数の軌跡に含まれる類似したsub-diffを比較する。公開されたverl-codeには訓練用エントリーポイントとデータレシピが含まれるが、著者によるモデルcheckpointはまだなく、実験も完全なソフトウェアリポジトリ修復を対象としたものではない。
代理工具
P-Benchでは、エージェントが統計手法を自ら選択し、Rコードを実行してp値を報告する必要があり、単にコードが実行できるかどうかを確認するだけではない。14Bモデルは難問のStrict指標で掲載されたオープンモデルを上回ったが、現時点で公開リポジトリには説明文書しかない。
推論系統
コミュニティのデプロイ手順では、単一のDGX Spark上でCUDA Graphと1層のMTP投機的デコーディングを有効にし、Ling-3.0-flash INT4の生成速度を20.8 token/sから38.7 token/sへ引き上げた。さらに重要なのは、メインラインのvLLMがV3アーキテクチャをまだサポートしておらず、古いattentionパスを無理に適用すると、エラーが報告されないまま、一見流暢だが誤った内容が出力される可能性があるという点だ。
代理工具
Scale AIは、プロンプト、ツール、メモリ、制御フローをモデルが変更可能なプログラムとして扱い、非公開テストセットで実際の改善を測定した。111回の実験では、ネイティブのコーディングエージェントが共通ハーネスを安定して上回ることはなく、検証段階で得られた最高スコアも概して楽観的だった。