PaDoc、レイアウト分岐による文書の並列解析で、A800単体のスループットを最大118%向上

エンドツーエンドの文書モデルは通常、ページ全体の画像を読み込んだ後、ブロックの座標、テキスト、表、数式を順番に生成する。2つの領域が互いに独立していても、自己回帰デコーダは前の領域のコンテンツを生成し終えるまで、次の領域を処理できない。一方、先に切り出してから認識する2段階方式は並列実行できるものの、切り出した領域ごとに視覚情報のprefillをやり直す必要があり、ページ全体のコンテキストも一部失われる。

PaDocは、モデルが予測したレイアウトを分岐構造のツリーとして扱う。メインシーケンスは次のレイアウト領域を生成し続け、learned fork tokenに到達するたびに、同じ画像およびレイアウトprefixからコンテンツ分岐を開始する。各分岐はページ全体の画像を保持するが、兄弟分岐が生成したコンテンツは参照できない。学習時には、packed variable-length ancestor attentionによってこの可視性を実現しつつ、標準的なnext-token objectiveをそのまま使用するため、追加の検出ヘッドやドラフトモデルは不要だ。推論時には分岐点のKV cacheを複製し、メインシーケンスとコンテンツ分岐を並列に進める。

研究ではQwen3-VL-2Bを出発点として、継続事前学習と教師ありファインチューニングを実施した。OmniDocBench Fullにおいて、PaDocのレイアウトOverall F1は91.1、エンドツーエンドのOverallスコアは94.24、Text Editは0.038、Formula CDMは95.59だった。効率評価には384ページのサブセットとA800単体を使用。同一バックボーンのSequential SFTと比べ、5種類の並列度設定における実効ページスループットは67.4～118%向上し、P95レイテンシは39.2～54.9%低減した。重要なのは出力tokenの総数を減らすことではなく、クリティカルパスを全領域のコンテンツ長の合計から、最長のレイアウト―コンテンツ分岐の長さへ短縮することにある。

オープンソース実装では、TransformersとvLLMの2つの経路が提供されている。前者は同一GPU batch内で分岐を同期的に進め、後者は各分岐を独立したリクエストとして送信し、prefix cachingを利用する。実運用では、分岐数、生成token総数、タイムアウト制限に注意が必要であり、適切に管理しなければ高密度なページでスケジューリングとメモリへの負荷が増幅する可能性がある。もう1つの根本的な制約は、「ページ全体の画像と領域レイアウトが与えられれば、各領域のコンテンツを独立して認識できる」という仮定だ。段組みをまたぐ読み順、複数ページに続く表、キャプションへの参照などは、この仮定に反する可能性がある。また、速度評価は現時点で特定のモデル、A800、著者が選定したサブセットのみを対象としているため、異なるGPU、長文書、バッチ型サービスのワークロードでも検証する必要がある。