OSReward、コンピューターエージェントの評価モデルが失敗した軌跡を見逃しがちで、視覚的証拠が判定に与える影響は意外に限定的だと判明

コンピューター操作エージェントの訓練やランキングでは、画面、アクション、推論の軌跡全体を視覚言語モデルに入力し、タスクが完了したかどうかを判定させることが多い。OSRewardはエージェント自体ではなく、この「評価モデル」に焦点を移し、Web、Windows、Ubuntu、モバイルデバイスを対象とする、人手で正解を付与した1,019件のゴールド軌跡を構築した。各軌跡は3人が独立してアノテーションし、意見が分かれた場合は単純な多数決ではなく、2人のシニアレビュアーによる協議に委ねた。

研究では、統一したプロトコルの下で27種類のVLMを検証した。全データセットにおける最高の二値分類精度は90%近くに達したものの、モデルは総じて判定が甘かった。すべてのモデル系列で最も多かった誤りは、エージェントが実際には完了していないタスクを成功として受け入れることだった。こうした「偽成功」は全誤判定の約3分の2を占め、「偽失敗」の3倍を超えた。意図的に議論の分かれる事例を集めたOSReward-Hardでは、信頼性がさらに低下した。約70%の精度を維持できるクラウド評価モデルでデータセット全体を1回評価するには、約45～100米ドルかかる。

さらに注目すべきなのが、入力のアブレーション分析だ。ステップごとの思考とアクションのテキストを削除すると、精度は平均7.2パーセントポイント低下し、判定の22.7%が逆転した。一方、一見重要に思える画面構成を変更しても、集計精度への影響は比較的小さかった。これは、評価モデルが最終的なインターフェースの状態を確認するのではなく、エージェントによるテキストの説明から成功を推測している場合が多いことを示している。上位3モデルの多数決を取っても改善は約1ポイントにとどまった。各モデルが同じ難しいサンプルで同時に誤る傾向があるためだ。

チームはさらにOS-Shepherd-100Kを構築し、Qwen3.5をベースに9Bおよび35Bの報酬モデルを訓練した。商用評価モデルに近い性能を、より低いコストで実現することを狙っている。ただし、論文は依然として進行中と明記されており、プロジェクトページでもコード、データ、重みを順次公開中としている。また、コストに関する一部の記述は、要旨とプロジェクトページの間で基準が異なる。現段階でエンジニアリングチームは、評価モデルをバイアスのある測定コンポーネントとして扱い、環境状態の検証、失敗事例の抜き取り確認、プラットフォーム別のキャリブレーションを維持すべきだ。単一のVLMによる判定を、そのまま強化学習のグラウンドトゥルースとして扱うべきではない。