Firecrawlコミュニティが画像処理の不具合を報告、混在するdata URIでテキスト削除や表の列ずれが発生する可能性

Firecrawlのウェブデータ処理で、データの正確性に影響する可能性がある問題がコミュニティから報告された。10月8日に提出されたissueによると、同じ行のMarkdownに非Base64のdata:image画像が先にあり、その後にBase64画像が続く場合、デフォルトの除去処理によって両者の間のテキストまで削除される可能性がある。報告にはセルフホスト環境で問題を小規模なテストケースで確認できるHTMLとAPIリクエストが掲載されている。問題報告

公式APIドキュメントによると、removeBase64Imagesはデフォルトでtrueに設定されており、長いインライン画像がMarkdownを占有するのを防ぐために使われる。想定される動作は、代替テキストを保持したまま画像URLだけをプレースホルダーに置き換え、htmlやrawHtmlには影響を与えないというものだ。そのため、この不具合は実務上の意味を持つ。ユーザーが画像フィルターを自分で設定していなくても、この処理を通る可能性がある。APIドキュメント

報告では、原因として正規表現のマッチ範囲が挙げられている。URL部分のパターンが最初の画像の閉じ括弧を越えて、後続のBase64マーカーまで検索を続けるという。報告にある比較表の例では、3列のヘッダーに対応するデータ行からセルが1つ欠落し、否定を表すテキストが消えて後続の値が左にずれている。通常の段落でもテキストが削除される例が示されている。これらは現時点では報告者による再現結果であり、本記事で独立に実行して検証したものではない。再現例と原因分析

エンジニアリング上の推論として、こうしたMarkdownがRAGインデックスやエージェントによる調査フローに取り込まれると、列のずれによって、ある選択肢の機能が別の選択肢のものとしてモデルに認識される可能性がある。データは読み取り可能なままで、埋め込みも通常どおり生成される場合があるため、リクエストの成功だけを確認しても、内容の完全性を十分に検証できない。公式にはHTMLとraw HTMLの出力も用意されており、チームは代表的なページでテキストと表の構造を照合できる。出力形式の説明

報告者によると、removeBase64Imagesを無効にすればテストケース内のセルは保持される。また、正規表現が閉じ括弧を越えてマッチしないように制限することを提案している。この方法を暫定的に採用するチームは、インライン画像による入力長の増加も管理する必要がある。今後は上流での修正、回帰テスト、修正が含まれるリリースを確認する必要がある。現時点の証拠は、セルフホスト環境のメインブランチでの再現に限られ、すべての正式リリース版やクラウド環境が影響を受けるとは判断できない。回避策と修正案