DiffusionOPSD、画像報酬を段階的なノイズ除去目標へ変換し、学習GPU時間を最大63％削減

拡散モデルの選好ポストトレーニングでは通常、完全な画像が生成された後にのみ報酬を取得する一方、同じシグナルをノイズ除去軌跡全体へ帰属させなければならない。ByteDance Seedが提案した[DiffusionOPSD](https://arxiv.org/abs/2608.24646)は、代わりにon-policy self-distillationを採用する。各ラウンドでは、まずbehavior policyを凍結して軌跡を生成し、そこからノイズを含むquery stateと、クリーンな出力予測であるanchorを抽出する。続いて画像報酬の勾配に沿って、anchorの周辺に有界な正例・負例目標を構築する。学習可能なpolicyは、これらの目標をstop-gradientの教師信号として扱い、有限回のフィッティングを終えた後、指数移動平均によってbehavior policyを更新する。

この階層的な設計の技術的価値は、スコアだけにとどまらない。研究者は「報酬勾配がより良い目標を見つけられたか」と「モデルが1回の実際の更新後にその改善を実現できたか」を分けて測定できる。論文のsame-query実験では、目標構築段階で改善幅が大きかった目標であっても、有限回のパラメータ更新後に必ずしもより大きな向上をもたらすとは限らなかった。この結果は、拡散RLにおいて目標の品質と学習可能性が同じ問題ではないことを示している。

著者らはSD3.5-Mとネイティブ9ステップのZ-Image-Turboを用い、10種類の評価器について報酬別のペア比較を実施した。DiffusionOPSDは、20組のheld-out比較のうち19組で最終スコア首位を獲得し、最強のベースラインに対して最大44％改善した。8基のGPUを使用したステップごとの実行時間から再推定すると、100回の更新に必要な計算量はそれぞれ28.2 GPU時間と149.8 GPU時間で、DiffusionNFTより40％および63％少ない。ただし、Z-Image-TurboのピークGPUメモリ使用量は同様には減少しなかった。

[公開コード](https://github.com/worldbench/DiffusionOPSD)には、SD3.5-M、Z-Image-Turbo、ReFL、FlowGRPO、DiffusionNFTの学習設定が含まれ、25,415件のPick-a-Picプロンプトからなるmanifestも固定されている。さらに、DrawBenchのheld-out評価を再実行できる3つのLoRA checkpointが公開されている。制約として、主なエビデンスは依然として2種類のバックボーン、text-to-image生成、自動選好評価器に基づいており、reward over-optimizationの影響を受けやすい。また、pointwise checkpointの1つに対応する論文中の評価器は、コードリポジトリに収録されていない。今後は、独立した再現実験、人手による選好評価、そして動画モデルや画像編集モデルへ拡張できるかが注目される。