AI 代理／評測
SkillProx、エージェントスキルを検証して再収束――Qwen3.6-27Bの表タスク精度が54.5%に向上
SkillProxは、モデルが提案したスキル変更をそのまま採用するのではなく、タスクを再実行し、性能が低下したバージョンをロールバックしたうえで、効用が負の知識ユニットを削除する。3種類のQwenモデルはいずれも表タスクで性能が向上したが、著者らが現時点で公開しているのは、コミットが2件しかない実質的に空のリポジトリだけだ。
エージェントスキルは通常、コンテキストに読み込まれる `SKILL.md`、サンプル、参考資料で構成される。学習なしで振る舞いを拡張できる一方、修正を繰り返すうちに矛盾するルールが蓄積することもある。SkillProxはこの問題を前進–近接最適化になぞらえているが、実際の処理は微分可能な勾配降下ではなく、離散的なテキスト編集である。
前進フェーズでは、まず失敗と成功の軌跡から診断を生成し、スキルを変更した後、同じタスク群を再実行する。候補バージョンのhard accuracyまたはcell accuracyが低下した場合はロールバックし、観測された失敗の傾向を次ラウンドの診断に反映する。後退フェーズでは、スキルをセクションや参照ファイルに分割し、それぞれを1つずつ取り除いてleave-one-out効用を推定する。効用の低いユニットは統合、格下げ、削除の対象となるが、変更のたびに固定検証セットでの検証に合格する必要がある。
著者らはSpreadsheetBench Verifiedでスキルを学習し、その後WikiTableQuestionsとHiTabで評価した。Qwen3.6-27Bの表タスクスコアは、人手で作成したスキルの36.7%から54.5%へ上昇し、スキルなしのベースラインは45.3%だった。HiTabでは80.0%を達成した。3種類のモデルと3つのテストを集計すると、論文では最も強力なtext gradientベースラインを平均3.0ポイント上回ったとしている。アブレーション実験では、閉ループ診断または収束フェーズを除くと、スコアはそれぞれ53.0%と52.0%に低下した。
この設計の工学的価値は、スキル更新を信頼可能なモデルのメモではなく、テストとバージョン管理を必要とするソフトウェア資産として扱う点にある。ただし、同じタスク群での再実行により、変更が局所的なケースへ過剰適合する可能性がある。固定検証セットを意思決定に繰り返し利用することも選択バイアスを生み、論文はデプロイ後にも性能が単調に改善することを証明していない。より直接的な制約として、公式GitHubリポジトリには現時点でREADMEしかなく、コードは「近日公開」と明記されており、ライセンス、実装、再現用スクリプトは提供されていない。今後は完全なコードが公開されるか、また表以外のエージェント、長期的なオンライン更新、汚染された軌跡でも安全にロールバックできるかを見極める必要がある。