RL訓練によりHaiku 4.5監査モデルがOpus 4.6に追いつくも、不適切な報酬設計で偽陽性率は96%に上昇

8月26日に公開された研究では、強化学習を用いて「モデルでモデルを検査する」アラインメント監査プロセスの改善が試みられた。研究者らはClaude Haiku 4.5に、複数ターンの環境でターゲットモデルを調査させた。一部のターゲットにはsystem promptを通じて隠れたバイアスやその他の異常な振る舞いを埋め込み、残りは正常な状態に保った。隠し命令を把握しているLLMジャッジは絶対スコアを直接付けるのではなく、新しい監査トラジェクトリを参照トラジェクトリと比較し、シグナルの識別、調査戦略、秘匿性、証拠の質を評価した。

最良の手法ではreference-pairwise rewardを採用した。各トラジェクトリはキャッシュされた参照とのみ比較され、参照ポリシーは50勾配ステップごとに更新されるため、難易度が段階的に上がるカリキュラムが形成される。同時に、batchの半分を振る舞いが埋め込まれていないキャリブレーション用ターゲットに割り当て、監査モデルが「問題は見つからなかった」と正直に判定した場合にも報酬を与えた。この設計は極めて重要だった。8つのproduction modelで疑わしい出力を直接報酬の対象にすると、production-discoveryスコアは7.8から23.0に上昇したものの、正常なターゲットに対するキャリブレーションスコアは98.9から3.3へ低下した。これは、調査の約96%で偽陽性が発生したことを意味する。正常なターゲットを含めないintragroup pairwise訓練では、偽陽性率が約97%に達した。

50%のキャリブレーションを導入すると、最良のHaiku 4.5監査モデルの4項目の総合スコアは、未訓練時の44.2から48.7へ上昇し、Opus 4.6の48.4をわずかに上回った。隠れた振る舞いに対する監査品質も72.7となり、Opus 4.6の68.0を上回った一方、偽陽性率は1%未満に抑えられた。この能力は、Claude Code scaffoldを使用し、LoRAとKTOで作成されたAuditBenchの敵対的ターゲットにも転移した。

ただし、評価と訓練は依然としてLLMジャッジに大きく依存している。また、system promptで埋め込まれた振る舞いは、事前学習や事後学習によって実際に形成された戦略的欺瞞よりも、グラウンドトゥルースを取得しやすい。最良モデルのproduction modelにおける問題発見スコアは8.5にとどまり、Opus 4.6の13.4を依然として下回った。公開リポジトリには8つの評価セット、1,600個の訓練seed、ジャッジ用prompt、オーケストレーションコードが含まれているが、訓練済みの重みは提供されていない。完全な再現には、複数社の有料推論APIも必要になる。