FTF-bench、多モーダルエージェントが必須条件を犠牲にする傾向を示す――FTF-RLは階層的報酬による訓練を導入

「First Things First」研究は、一般的な指示追従スコアでは見過ごされがちな失敗に焦点を当てている。エージェントは、一見より理想的な商品や経路を選びながら、ユーザーにとって譲れない条件に違反することがある。研究チームはFTF-benchを構築し、インターフェース画像と自然な口語表現による要望の組み合わせを3,649件収録した。対象はEC、宿泊予約、地図、配車サービスで、内訳はECが2,098問、宿泊予約が1,093問、地図と配車サービスが458問。条件と正解は人手で確認されている。

問題は、3種類の意思決定構造に分かれる。第1の種類では、すべての必須条件を満たす候補が1つだけ存在する。第2の種類では、条件を満たす候補が複数あり、その場合に限ってエージェントは「満たすことが望ましい」選好に基づいて順位付けできる。第3の種類では、必須条件を満たす候補が1つもなく、回答を拒否することが正しい行動となる。この設計では、条件の解析、実行可能性の判定、選好の最適化を切り分けることで、モデルが画面を誤認したのか、条件の優先順位を混同したのか、それとも解がないにもかかわらず候補を強引に選んだのかを識別できる。

著者らはさらにFTF-RLを提案し、サイズの異なるQwen2.5-VLモデルで訓練を行った。報酬関数は、出力形式、最終回答、各要件が必須条件または選好として正しく分類されているかを同時に検査し、中間推論の生成も促す。論文によると、3種類すべての状況でタスク成功率が向上し、LogicVista、MathVision、InfoQAなどの外部ベンチマークにも転移効果が見られた。また、正しい条件ラベルを与えるとベースモデルの性能も大幅に向上した。この結果は、ボトルネックの一部が視覚認識だけでなく、要件の解析にも由来することを裏付けている。

調達、旅行、インターフェース操作用のエージェントを構築するチームにとって、この結果は、最終的な選好スコアだけを受け入れ判定に使うべきではないことを意味する。テストセットには解が存在しないケースを明示的に含める必要がある。実行時には、構造化フィールドを用いてハード制約とソフトな選好をあらかじめ分離し、プランナーが後者によって前者の違反を補うことを禁止する方法も考えられる。ただし、現時点のGitHubリポジトリには説明文書しかなく、コード、ドキュメント、事前学習済みモデルは依然として準備中であると明記されている。第三者はまだ訓練を完全に再現したり、データ生成時のバイアスを検証したりできない。そのため、現段階では提供済みの訓練ツールではなく、論文上の研究成果として捉えるべきだ。