推論系統
PaDoc 以版面分支平行解析文件,單張 A800 吞吐量最高提高 118%
PaDoc 讓版面序列與各區域內容共用頁面前綴並行解碼,避免把整頁文件串成單一路徑。2.1B 模型在 OmniDocBench 維持 94.24 整體分數,但效能數字來自單一 GPU 與特定排程設定。

文件理解模型通常把版面座標、文字、公式與表格依序輸出;即使不同區域互不依賴,後方內容仍得等待前方 token 完成。兩階段 OCR 可以裁切區域後平行辨識,代價則是重複處理影像、失去完整頁面脈絡。
PaDoc 把預測出的版面視為一棵生成樹:主序列繼續產生下一個區域的位置,遇到特定 fork token 時,同時啟動該區域的內容分支。所有分支共用完整頁面及祖先版面前綴,但看不到兄弟分支。訓練端以可變長度 FlashAttention 批次實作祖先注意力,維持標準 next-token objective;vLLM 服務端則把分支當成獨立請求,利用 prefix caching 重用 KV cache,不需要額外 draft model 或預測頭。
團隊從 Qwen3-VL-2B 初始化,先在約 1,100 萬份文件樣本持續預訓練,再以約 50 萬份篩選資料做 SFT,訓練使用 128 張 A800。OmniDocBench v1.6 的 1,651 頁測試中,PaDoc 的版面 F1 為 91.1,端到端 Overall 為 94.24;在同為 2.1B 的序列化基線上,品質沒有因分支化而明顯退化。
效能測試使用固定 384 頁、單張 A800 及 16 至 256 個並行請求。PaDoc 的有效頁面吞吐量提高 67.4% 至 118%,P95 延遲降低 39.2% 至 54.9%,64 並行時達每秒 1.722 頁。工程上真正值得注意的是「從輸出結構取得並行度」:表單、圖表或其他具有獨立區塊的多模態任務也可能採用相同方法。
不過,分支獨立性建立在各區內容經影像與版面條件化後互不依賴的假設;跨欄參照或跨頁表格可能破壞它。儲存庫也未提供作者的訓練資料與已訓練 checkpoint,且跨模型速度比較受模型大小、vLLM 排程與有效頁面定義影響。下一步應看不同 GPU、較低並行量與真實混合文件流量能否重現收益。