NeoMME、単一の双方向Transformerで画像とテキストをエンコードし、視覚文書インデックスを1ページあたり6 kBに圧縮

HcompanyはNeoMME-260MとNeoMME-800M、および視覚文書検索向けにファインチューニングしたRetriever版を公開した。これはSigLIPのような視覚塔を生成言語モデルに接続する方式ではなく、テキストtokenと元画像を分割した32×32のpatchを個別に投影し、同一の双方向Transformerへ入力する。どちらのモデルサイズも16,384 tokenに対応する。大半の層では対称sliding-window attentionを使用し、6層ごと、および最終層にglobal attentionを配置することで、高解像度ページの計算量を抑えている。

事前学習も一般的な自己回帰型VLMとは異なる。モデルはゼロから学習され、masked discrete-diffusionのテキスト目標を採用する。文書画像のpatchは可視のまま維持され、モデルは画像を条件としてマスクされたテキストを復元する。pixel reconstruction lossは使用しない。そのため、モデルが出力するのは直接的な回答ではなく、文脈化された表現である。基盤モデルの重みを利用するには、検索、分類、情報抽出などのタスクヘッドを追加する必要がある。

NeoMME-Retrieverは、1回のforward passで単一ベクトルのdense embeddingと、token／patch粒度を維持したlate-interaction embeddingを同時に生成する。後者は一般にレイアウトの詳細を保持しやすい一方、インデックスが巨大になる。チームは階層型token poolingと非対称量子化を組み合わせ、ViDoRe v3におけるNeoMME-260Mのページあたりの表現サイズを約1.5 MBから6 kBへ圧縮した。これは255分の1への縮小に相当し、元のnDCG@10の95%以上を維持している。

作者の報告によると、260M版と800M版はViDoRe v3でそれぞれ0.523、0.556のnDCG@10を達成した。260M版はNVIDIA L40S上で2048×2048の入力を使用した場合、毎秒51.3ページをエンコードし、ColModernVBERTの1.97倍の速度だった。中国語PDFを対象とするRAGにとって、これは単にモデルが小さいという以上の意味を持つ。ページ画像から直接インデックスを構築すれば、表、段組み、スキャン文書のレイアウトをOCR処理前の検索に活用できる。また、6 kB級の表現により、大規模文書群のlate-interactionインデックスも導入しやすくなる。

すべてのチェックポイントはApache 2.0で公開され、TransformersとSentence Transformersにも統合されている。ただし、比較対象モデルのスコアの一部はMTEBから取得したものである一方、NeoMMEの評価は作者自身が実施している。速度についても、単一のGPUと解像度での結果しか示されていない。モデルカードには、安全性、バイアス、プライバシーに関する包括的な評価がまだ完了しておらず、基盤モデルをそのまま生成AIアシスタントとして使用することはできないと明記されている。今後は、第三者による再現評価、繁体字中国語のスキャン文書、異なる解像度、そして実際の多言語混在データにおける圧縮インデックスのrecallに注目すべきだ。