CogVis、リモートセンシング画像の変化事前情報を共有し、10クラスのクエリ遅延を10.03秒に短縮

オープンボキャブラリ変化検出が答えるべきなのは「どこが変化したか」だけではなく、その変化がユーザーによってその場で入力されたテキストクラスに該当するかどうかも含まれる。既存のパイプラインでは、クエリごとに2時点の衛星画像または航空画像を再比較し、時間的差分、テキストの意味情報、領域フィルタリングを一体化することが多い。そのため、クエリクラスが増えるほど、同じ視覚処理が繰り返し実行される。

CogVisは、このパイプラインを3層に分割する。まずScene Change Perceptronが、凍結された2時点の特徴量からクラス非依存の変化事前情報を抽出し、画像ペアごとに一度だけ計算する。次にSemantic Memory Calibratorが、画像とテキストクエリに基づいて動的な判定しきい値を推定し、クラスごとに異なるスコア尺度を補正する。最後にAdaptive Region Filterが、意味情報、時間情報、領域構造の信頼度を統合し、影、季節差、残存する位置合わせ誤差によって生じた候補領域を除外する。基盤となるSAM3とCLIP ViT-B/16は凍結したまま、3つの小型adapterのみを学習する。

著者らは、SECOND、SCSCD、CLCD、DSIFN、LEVIR-CD、WHU-CD、および災害被害データセットのxBDで最高性能を報告している。ただし、改善幅は一様ではない。LEVIR-CDとWHU-CDでは従来の最高値をそれぞれ0.05ポイント、0.14ポイント上回るにとどまる一方、xBDのmIoUは24.51から32.68へ向上した。RTX 3090と512×512の入力を用いたテストでは、CogVisは0.230 FPS、ピークメモリ使用量4.82 GiBを達成し、2番目に高速な手法よりスループットが28.5%高かった。10クラスへのクエリには10.03秒を要し、クラスごとに処理するベースラインでは12.56～956.60秒だった。ただし、calibratorとregion filterはまだ共有されていないため、遅延はクラス数に応じて増加する。

リポジトリには、学習、推論、dry-run、および7つのベンチマーク用設定がすでに用意されており、エンジニアリングチームはデータインターフェースを確認し、処理フローを再実行できる。ただし、3つのadapter、SAM3とCLIPのcheckpointはいずれもGitに含まれておらず、データセットも別途用意する必要がある。また、性能比較は単一のハードウェアと著者らが選定したベースラインに基づく。今後は、完全な重みが公開されるか、異なるセンサーや解像度でもキャリブレーションを維持できるか、さらに大量のテキストクエリを処理する場合でも共有事前情報が線形コスト上の優位性を保てるかを見極める必要がある。