ホームへ戻る

多模態與遙測

LongEarth-R1、最長30フレームの衛星画像系列を推論し、12の時空間タスクすべてで比較モデルを上回る

LongEarth-Benchは11万7,000枚のリモートセンシング画像を約12万組の長系列QAに整理し、地形の変化、異常、欠損状態をモデルに追跡させる。Qwen2.5-VL-7BをベースとするLongEarth-R1は、フレーム番号、構造化推論、時空間報酬を導入したが、データ、重み、コードはまだ公開されていない。

â„… alastairharding · CC BY-SA 4.0 · Image source
zh-Hant

リモートセンシング向け視覚言語モデルは通常、単一画像、前後2枚の画像、または非常に短い時系列を扱うため、「洪水はいつ始まり、被災地域はどのように拡大し、その後回復したか」といった複数段階にまたがる問いへの回答が難しい。そこでLongEarth-Benchは、SpaceNet 7、DynamicEarthNet、PASTIS-Rなど5つのデータセットを統合し、120,367組のQAを構築した。各組には平均15.14フレーム、最大30フレームが含まれ、21.1%は24フレーム以上で構成される。タスクは、変化の要約、空間推論、異常認識、論理的予測の計12種類を網羅する。

チームはQwen2.5-VL-7Bをベースモデルとし、視覚エンコーダーを凍結したうえで、言語層のみをrank 128のLoRAで学習した。第1段階では各画像に明示的な連番を付与し、さらに3万組の構造化推論トレースを用いて、重要フレーム、変化領域、時間的順序を特定するようモデルを訓練した。第2段階ではGRPOにより、同一入力に対する複数の回答を比較し、最終回答だけでなく、形式、時間的位置の特定、空間的一貫性について個別に報酬を与えた。

LongEarth-R1は、論文で実施された12の長系列テストすべてで首位となった。例えば、重複フレーム検出の精度は90.28%で、ベースラインのQwen2.5-VLは39.78%だった。時間順序違反の検出精度も12.38%から50.80%へ向上した。アブレーション研究では、3種類の報酬がいずれも不可欠であることも示された。ただし、結果は著者らが独自に構築・学習したベンチマークに基づいており、同一ソースのデータが比較モデルに不利に働いた可能性がある。また、一部の推論アノテーションは最初にQwen3-VL-8B-Thinkingで生成されており、その選好が評価に持ち込まれた可能性もある。論文公開時点では、データ、重み、学習コードは公開されていない。エンジニアリングチームは再現可能なバージョンを待つとともに、地域間、センサー間、および季節的な外乱下での汎化能力を重点的に検証すべきだ。

出典

  1. LongEarth-R1: Benchmarking and Aligning Vision-Language Models for Long-Horizon Earth Observation Reasoning
  2. Qwen2.5-VL-7B-Instruct Model Card
  3. SpaceNet 7 Multi-Temporal Solutions