optstop、ベイズ信用区間で評価を動的に停止—9件のテストで試行を最大97.3%削減

すべての問題を同じ回数だけ実行する固定方式では、すでに収束した項目にもAPIとGPUを使い続けることになる。optstopは、これを逐次測定問題として捉え直す。新しい結果を取得するたびに階層ベイズモデルを更新し、個々の問題またはモデル—タスク群の事後信用区間の幅がしきい値を下回ると、該当する試行を停止する。デフォルトは97%信用区間、幅0.05で、推定値をおおむね±2.5パーセントポイント以内に収めることを求める設定に相当する。区間がなかなか基準を満たさない場合は、直近の区間幅の傾きから情報利得が安定したかどうかも判定する。

このツールは、二値、順序、有界連続の各スコアを個別に処理する。二値結果には階層的logit-normalモデルを使用する。順序尺度ではordered-logistic、最頻値区間、エントロピー収束を組み合わせる。連続スコアでは、問題ごとの要約統計を用いて階層推論を行う。既存データをオフラインで刈り込めるほか、`inspect_ai`の`EarlyStopping`プロトコルも実装済みだ。ゼロに近いスコアで稀な成功を見逃さないよう、連続して失敗しただけで直ちに停止せず、より保守的なサンプリングを行う。

論文では、各200問を当初1問につき10回実行する設計の9件のシャドー実験で検証した。すべてのリクエストを最後まで実行したうえで早期停止点を再生するため、モデルを2回実行した場合に生じる確率的な差異は排除されている。省略できた試行は57.2%から97.3%で、平均81.1%。打ち切り推定値と完全な推定値の平均絶対差は0.006だった。ただし、これは本番トラフィックで実施した直接的なコスト実験ではない。使用モデルも、2026年3月に呼び出したGPT-3.5 Turbo、GPT-4o、Claude Sonnet 4.5である。エンジニアリングチームは、問題の順序をランダム化し、群内の交換可能性も確認する必要がある。問題を難易度順に並べると、早期停止によって系統的バイアスが生じる可能性がある。次の課題は、稀な危険能力、エージェント型の長期タスク、モデルジャッジのドリフトがある状況でもカバレッジを維持できるかを検証することだ。