OSRewardが27種類のコンピュータエージェント判定モデルを検証、困難な軌跡から広範な「成功の誤判定」バイアスが判明

コンピュータ操作エージェントの学習と評価では、視覚言語モデルを自動判定モデルとして利用する動きが広がっている。モデルは画面、操作、テキスト履歴、推論軌跡を読み取り、タスクが成功したかどうかを判定する。OSRewardは、この重要な報酬シグナルについて、これまで独立したキャリブレーションが不足していたと指摘する。判定モデルが失敗した軌跡を成功と判定すれば、誤ったデータがそのままデータ選別、強化学習、ランキングに入り込む可能性がある。

そこで研究チームは、Web、Windows、Ubuntu、モバイルデバイスにまたがる実行環境を独自に構築し、4種類のエージェントが生成した1,019件の軌跡を収集した。各軌跡は3人のアノテーターが判定し、意見が一致しない場合は再審査を実施した。人手による作業時間は全体で約800時間に上る。完全なテストセットに加え、OSReward-Hardには困難な事例のみを収録し、OSReward-Multiではタスク整合性と実行効率を個別に評価する。固定プロトコルで評価した27種類のVLM判定モデルには、共通して寛容なバイアスが見られた。実際には失敗している実行が受け入れられやすく、通常セットでは全体性能が9割近くに見えるモデルも、困難な事例では明確に性能が低下した。分析では、判定シグナルが最終画面ではなく、主にテキスト形式の操作履歴から得られていることも示された。つまり、エージェントがもっともらしい説明を残すだけで、環境が実際には目標状態に達していない事実を覆い隠せる可能性がある。

チームはさらに、独自に生成したrolloutと4種類の公開軌跡データセットから321,631件のアンサンブル判定を生成し、判定モデルの推論過程を含むOS-Shepherd-100Kを構築した。これを基に、9Bおよび35Bのオープンな報酬モデルを学習している。このモデルは、商用のフロンティア判定モデルを継続的に利用する費用を負担できないチームに、セルフホスト可能なベースラインを提供する。ただし、決定論的な検証器の代替とすべきではない。ファイルが作成されたか、設定が書き込まれたか、取引が完了したかなど、環境の状態を直接確認できる場合は、引き続きプログラムによる検証を優先すべきである。

もう一つ注意すべき点として、論文の要旨ではコストが30～60％低いとされている一方、プロジェクトページには30～60倍低いと記載されている。著者が課金に関する前提条件を明確にするまでは、後者を調達判断の根拠として引用すべきではない。