AI 代理與研究自動化
DisCo、1,000件の機械学習リポジトリを5,353個の検証可能なエージェントスキルに蒸留
新たな研究は、ソースコード、ドキュメント、テストをオンデマンドで読み込める操作知識へ変換し、固定されたモデルとエージェントフレームワークの性能を4つの研究ベンチマークすべてで向上させた。スキル構築コストは別計上であり、結果も著者による評価にとどまるため、低コストでモデルトレーニングを代替できると直ちに見なすことはできない。
研究エージェントには通常、計画、メモリ、ツール呼び出しを担うharnessがすでに備わっているが、それでもタスクごとにフレームワークAPI、データ形式、デバッグ方法を改めて探る必要がある。[Repo-To-Skill論文](https://arxiv.org/abs/2609.02749)は、こうした実装上のノウハウを「操作知識」と定義し、DisCoを提案している。これは、プロジェクト全体をコンテキストに詰め込むのではなく、まずリポジトリや論文からスキルを蒸留し、研究タスクの実行時に必要に応じて検索する仕組みだ。
各リポジトリはスキルグラフに分解される。`SKILL.md`には使用すべきタイミングを記述し、`references/`には根拠を保存し、`scripts/`には実行可能なワークフローを収録する。候補スキルは、ネイティブのサンプル、テスト、CLIチェック、または小規模なsmoke testによる検証を通過する必要があり、失敗した場合は該当部分のみを修正して再実行できる。公開されている[AREX-Skill](https://github.com/VectorSpaceLab/AREX-Skill)のスナップショットには、1,000件のリポジトリグラフと5,353個のスキルが含まれ、20分野、178の能力ファミリーにまたがる。2段階ルーターがまず候補範囲を絞り込み、その後にエージェントが関連スキルだけを読み込むことで、コンテキストコストを抑える。この形式はCodex、Claude Code、Piなどのコーディングエージェントに統合できる。
研究では、同一のGPT-5.5、Codex harness、推論強度、下流の実行予算を用い、スキルの有無による性能を比較した。その結果、MLE-benchでは相対的に134.3%、PaperBenchでは34.4%、FrontierCSでは9.2%、PassNetでは14.0%向上した。PaperBenchでは対象論文とその実装を除外し、MLE-benchでもコンペティション固有のコンテンツを除外することで、答えが直接漏洩するリスクを低減した。
ただし、この比較ではスキル構築費用を実行予算に含めていない。バッチ蒸留にはリポジトリ1件あたり平均約40ドルを要し、GPT-5.5とGPT-5.6 Solが使用された。このため、今回の成果は一度限りのタスクよりも、コストを繰り返し償却できるチーム向けナレッジベースに適している。エンジニアリングチームは今後、上流のバージョン変化、悪意あるリポジトリに起因するスキルのサプライチェーンリスク、さらに異なるモデルやエージェントフレームワークでも第三者が性能向上を再現できるかを注視すべきだ。