Looped Flows、局所的なノイズ除去で反復推論を訓練し、ARC-AGI-1のテスト精度58.8％を達成

反復型推論モデルは、同じパラメータ群を繰り返し適用することで、少ない重み数と引き換えに推論時の計算量を増やせる。しかし訓練時には通常、1回から数回の更新ステップにしか誤差逆伝播できない。ステップ間で勾配を切り離すと、初期状態が後続処理で本当に必要となる情報を保持するよう学習するとは限らない。単にループの反復回数を増やしても、処理が停滞したり、誤差が蓄積したりする可能性がある。

9月10日に投稿された「Looped Flows」は、このcredit assignment問題を局所的なノイズ除去として再定式化する。訓練データではまず、同一の解答と初期ノイズから時間軌跡を構成する。各更新ステップには徐々にノイズが減少したデータが与えられ、問題の条件情報とrecurrent stateが共有される。各ステップには個別のノイズ除去目標があり、ステップ間では勾配を停止できる。隣接するタスクが同じ軌跡に沿っており、後段のタスクほどわずかに容易になるため、状態には次のステップで利用できる計算結果を保持するインセンティブが残る。基盤となるdenoiserは、一般的な大規模自己回帰言語モデルではなく、Tiny Recursive Modelに類似したアーキテクチャを採用している。

推論段階では、クリーンな入力を固定して繰り返し処理するのではなく、stateful denoiserが定義する速度場を数値積分し、ノイズを段階的に離散的な解答へ移送する。時間グリッドを細かくすればtest-time computeを増やせる。また、初期ノイズを変更することで異なる解を得られるため、N-Queensやグラフ彩色など、複数の正解が存在する問題に特に適している。論文では6種類の推論ベンチマークで既存のlooped modelsと比較し、ARC-AGI-1で58.8％、ARC-AGI-2で12.2％のテスト精度を報告している。

ただし、これは汎用LLMへそのまま適用できる推論手法の代替ではない。結果は、構造化された検証が可能なアルゴリズム課題および抽象推論課題に集中している。積分ステップ数を増やした際のレイテンシー、安定性、キャリブレーションのコストについても、それぞれ個別に評価する必要がある。現時点では独立した再現結果も不足している。次の重要な課題は、完全なコードと訓練設定を公開するとともに、局所的なノイズ除去が自然言語、長いコンテキスト、そして一意に検証可能な正解が存在しないタスクへ拡張できるかを検証することだ。