Scal3R、多参照フレームへの姿勢クエリで長時間動画の3D再構成ドリフトを補正、追加学習パラメータは約1%のみ

長時間動画のフィードフォワード型3D再構成では、最初のフレームを固定座標系のアンカーとし、後続フレームからグローバルなカメラ姿勢を回帰することが多い。経路が長くなるほど、モデルは学習時の分布を超えた外挿を強いられ、わずかな誤差が最終的に軌跡と点群の双方を破綻させる可能性がある。国立陽明交通大学とNVIDIAの研究者が提案したScal3Rは、まず破綻箇所を分析した。グローバル姿勢が継続的にドリフトしていても、フレームごとの深度は通常安定しており、幾何バックボーン全体を再学習する必要はないことが示された。

そこでScal3Rは、CUT3RまたはSTream3Rを凍結し、モデル全体の約1%に相当するパラメータだけを持つ投影層、姿勢クエリトークン、相対姿勢ヘッドを追加する。非対称Attentionにより、クエリトークンは画像特徴を読み取れる一方、画像トークンから追加クエリトークンへの逆方向のAttentionは行われない。これにより、既存の点群表現が損なわれるのを防ぐ。新しい各フレームについて、複数の過去キーフレームに対する変換を同時に推定し、インクリメンタルな姿勢グラフ最適化とループ閉じ込み検出によってグローバル軌跡へ統合する。実装にはGTSAM iSAM2、DINOv2-SALAD、FAISSを使用している。[論文](https://arxiv.org/abs/2609.04201)によると、単一GPUで約8時間で収束した。CUT3R版のKITTIにおける平均ATEは69.7で、TTT3Rの182.2を下回った。vKITTIでは、参照フレーム数を4から12へ増やすと、ATEが15.75から5.63へ低下した。完全なパイプラインはCUT3R上で14.4 FPSを達成し、元のバックボーンは15.9 FPSだった。

これらの結果は、長距離のグローバル回帰を複数の短距離制約として定式化し直すことが、モデルの大型化よりも効果的になり得ることを示している。特に、ロボティクス、車載ビジョン、長時間のARスキャンで有用だろう。ただし、[プロジェクトページ](https://linjohnss.github.io/scal3r/)に掲載された数値は、現時点では著者ら自身による評価結果である。KITTIのATEは、あらかじめSim(3)で正解データにアライメントされており、グローバルなスケール誤差が取り除かれる。また、付録では、カメラキャリブレーションを使用したORB-SLAM2の平均ATEがScal3Rを下回っている。今後は、コードと重みから結果を完全に再現できるか、スケールアライメントなしでどのような結果になるか、さらに動的物体、低テクスチャ環境、ループ閉じ込みのない経路で長時間の安定性を維持できるかを検証する必要がある。