VLM Run Gateway 統一 OCR、影片與視覺模型 API，但模型名稱仍不足以保證推論等價

VLM Run 在 9 月 4 日公開 [Gateway](https://www.vlm.run/gateway)，把開放權重 OCR、通用 VLM、偵測、分割及姿態等模型放到同一個 OpenAI 相容端點。應用程式可沿用 Chat Completions SDK，只替換 `base_url`、模型名稱與圖片、影片或文件輸入；平台另提供 MCP server，讓代理以工具形式呼叫視覺能力。目前公開型錄列出 21 款模型及各自的輸入類型、上下文長度與計價。

這項服務處理的是多模態路由常被文字模型 API 掩蓋的問題：同一模型 ID 可能實際對應不同量化格式、vLLM／SGLang 參數或影像前處理。文字基準看不出的量化誤差，可能在小字 OCR、表格座標或空間關係上明顯放大。發布團隊因此主張，閘道會把具體模型及服務設定視為可選執行目標，而不是把名稱相同的端點假設為等價。

影片也是另一個相容性缺口。團隊在 [Hugging Face 技術說明](https://huggingface.co/blog/vlm-run/introducing-gateway) 中稱，測試的熱門路由供應商超過八成不能處理影片原生輸入，能控制取樣 FPS 的更少；Gateway 則讓客戶指定影片模型與處理方式。對文件管線而言，統一回應契約也能降低在通用 VLM、專用 OCR 與較小型模型之間做 A/B 測試的整合成本。

但它目前是託管閘道，不是可自行重現整套路由與推論環境的開源執行期。官方所稱每秒超過 3,000 個輸出 token 等數據沒有完整硬體、批次、頁面解析度與準確率條件；「支援同一 API」也不代表不同模型的座標、Markdown 或工具輸出語意一致。工程團隊採用前應保存原始影像與模型版本，針對中文直排、繁體字、表格及低解析掃描建立自己的回歸集，並確認資料保存、區域部署與失敗重試政策。