SafeBranch、同一状態で安全な分岐をペアリングし、IS-Benchの安全成功率を0.031から0.281へ向上

具身エージェントは、タスクを完了できたとしても、その過程でコンロの火を消し忘れたり、食品を汚染したり、濡れた手でコンセントに触れたりする可能性がある。SafeBranchの中心的な洞察は、安全性は通常、軌跡全体の平均的な属性ではなく、少数の「安全上重要なステップ」によって決まるというものだ。従来のSFTは安全な軌跡だけを提示し、同じ状態でどの行動を避けるべきかを示さない。一方、軌跡全体を対象とするDPOでは、安全性のシグナルが経路長やタスクの進捗といった差異に混入してしまう。

新手法では、まずベースとなるVLMエージェントにタスクを自律的に実行させる。違反が発生すると、GPT-4o criticが事前または事後の方式で危険を引き起こした意思決定地点を特定し、環境をその状態までロールバックする。その後、元のエージェントが短い修正プロンプトに従って、安全な代替行動を生成する。続いてシステムはプロンプトを取り除き、安全な出力と安全でない出力を完全に同一のコンテキストへ再接続してbranch pairを形成する。判定器によって、実行不可能なサンプル、追加情報に依存するサンプル、またはタスクの進捗を維持できないサンプルを除外した後、BranchPOを用いて危険な分岐に対する安全な分岐の確率を高める。

Qwen3-VL-8Bをactorとして用いた実験では、IS-Benchの元の環境における安全成功率が0.031から0.281へ向上した一方、通常のタスク成功率は0.656から0.594へ低下した。これは安全性が大幅に改善したものの、タスクの実用性にまったく代償がないわけではないことを示している。2つの分布外バリアントでは、BranchPOの安全成功率はそれぞれ0.355と0.469に達した。シミュレーターをまたいでSafetyALFREDへ移行した場合、5種類の危険に関する総合精度は0.274から0.438へ向上し、デプロイ時にはcritic、ステップごとの自己検証、先読み探索のいずれも不要となった。

この研究のエンジニアリング上の価値は、コストの高い安全性判定をデータ構築時へ移し、疎な因果的意思決定地点を直接、選好サンプルへ変換した点にある。ただし、SafeBranchは現時点で独立したライブラリとして公開されておらず、結果はすべてシミュレーション環境から得られたものだ。IS-Benchは161のシナリオと388種類のリスクを公開しているものの、実世界のロボットにおけるセンサー誤差、制御遅延、物理的損害まで網羅することはできない。今後は、より小規模なcriticや形式化されたcriticでbranch pairを構築できるか、また実機のVLAコントローラーでも安全性と完了率を維持できるかを検証する必要がある。