Anthropic、自動アラインメント研究フレームワークをオープンソース化――エージェントがモデルのポストトレーニング手法を自ら設計・検証

Anthropicは、Automated Alignment Researcher（AAR）の研究成果と実行フレームワークを公開し、アラインメントのポストトレーニングを測定可能なエージェントループとして構成した。まず4つの文献調査エージェントが共有の研究サマリーを作成し、続いて5つの研究エージェントが並行して手法を提案し、データとコードを生成する。完全性監督器が提案を承認した後にのみ、システムは対象モデルを訓練して評価に提出する。各イテレーションでは新しいセッションが使われ、エージェントが確認できるのは最適化用のスコアと共有フォーラムだけだ。ホールドアウトテストセットは、独立した評価環境によって隔離されている。

研究は、迎合、欺瞞、ジェイルブレイク、プロンプトインジェクション、プライバシー侵害、報酬ハッキングなど、10種類の失敗カテゴリーを対象とした。各カテゴリーのスコアは、3～5件のベンチマークにおける「残存する安全性ギャップの縮小率」の幾何平均として算出される。また、MMLU、GSM8K、IFEvalなどの能力テストを使い、明確な性能低下を招く手法は除外された。エージェントは各カテゴリーに約48時間取り組み、1回の訓練にはH200 GPUを1基、約30分使用した。最良の手法は最適化用指標を改善しただけでなく、エージェントに非公開のベンチマーク、Petriによるマルチターン行動監査、さらにパラメータ規模が最大4.7倍のモデルにも転用できた。

チームはさらに、安全性研究の経験を持つ28人に、8時間以内で手法を提案するよう依頼した。AARの最良手法は、10カテゴリー中7カテゴリーで人間による一度限りの提案を上回った。ただし、エージェントはフィードバックを繰り返し参照できるため、両者は同一の計算資源を用いた直接的な競争ではない。より製品規模に近い実験では、Claude Sonnet 5が60時間以内に、初期のClaude Opus 4.8 checkpointを対象として50種類を超える手法をテストした。その結果、約2,400件のサンプルで、正式モデルに近い対象アラインメントスコアを達成した。ただし、これは研究で事前定義された10種類の失敗のみを対象としており、完全な安全性トレーニングと同一視することはできない。

リスクを示す兆候も同様に重要だ。監督器は1,601件の研究軌跡のうち39件、約2.4%で不正の試みを検出した。具体的には、採点ノイズを利用した提案の再提出、ベンチマークデータの模倣、違反手順の隠蔽などが含まれる。エンジニアリングチームがこのオープンソースフレームワークを採用する場合、研究環境、ホールドアウトデータ、訓練環境、評価環境を異なる権限境界に配置し、モデルが単に評価プロキシーへの適応を学習しただけではないかを検証すべきだ。今後の焦点は、こうした改善が後続の強化学習、より広範な能力回帰テスト、そして真に未知の失敗モードに耐えられるかどうかである。