Docling 2.122、コンパクトな表出力を変換APIに統合し、旧版iWork文書の構造を復元

オープンソースの文書変換ツールDoclingは、8月25日にバージョン2.122.0をリリースした。RAGパイプラインに最も直接的な影響を与える変更は、`ConvertDocumentsOptions`に`compact_tables`が追加されたことだ。コンパクトなMarkdown表は従来から低レベルのシリアライズインターフェースに存在していたが、今回から文書変換のエントリーポイントで一元的に設定できるようになった。有効にすると、列の位置合わせに必要なパディング用の空白だけが削除され、表の検出やセルの対応付けの結果は変わらない。主な利点は、embedding、リランカー、LLMへ送る前に意味のないtokenを減らせることにある。token数の減少を抽出品質の向上と解釈することはできない。

2つ目の変更はApple文書を対象としている。新版のiWork backendは、iWork ’09ファイルからタイトル、セクション見出し、表を復元できるようになり、旧版Pages文書を統一された`DoclingDocument`表現へ取り込む際に保持される構造情報が増えた。ただし、現時点の「対応形式」ドキュメントでは、Pagesについて本文のみを抽出し、headings、lists、tablesはまだ復元できないと記載されており、ドキュメントと実装が一時的に同期していないことが分かる。導入者は2.122.0の実際の出力と回帰テスト用サンプルを基準にすべきであり、特に新版で保証されているのはタイトル、見出し階層、表に限られ、すべてのリストやレイアウト上の意味構造が復元されたとはされていない点を確認する必要がある。

そのほかの修正は、検索用コーパスを汚染しやすい細部に集中している。PDFでは、行末が単語の分割箇所でない場合にハイフンを保持するようになった。全ページOCRモードでは、ネイティブのセグメント単位のページデコードをスキップする。レイアウトの後処理では、異なる要素タイプ間の重複除去が強化された。DOCXのテキストボックスでは安定したノード識別子が使用されるようになり、表のセルとレイアウトのマッチングも高速化された。これらの変更により、既存のchunkの内容やハッシュが変わる可能性がある。APIに破壊的変更がなくても、アップグレード後にはゴールデン文書を再処理し、要素数、表構造、引用位置を比較すべきだ。リリースノートには速度、token削減量、精度に関する数値が示されていないため、本番環境での効果は各自で測定する必要がある。