返回首頁

最新模型

騰訊公開 WeMM-Video,結合影片畫面與原聲推理,部署仍需引擎修補

騰訊微信視覺團隊公開 WeMM-Video 系列,提供四種規模與多種量化權重,支援影音聯合理解及中英文回答。技術報告於 11 月 19 日提交,但部署需要指定推論環境,量化檔案大小也不能直接視為顯存需求。

NASA/Crew of Expedition 22 · Public domain · Image source
zh-Hant

騰訊微信視覺團隊公開 WeMM-Video,將影片畫面與原始音軌一併納入理解流程。11 月 19 日提交的技術報告涵蓋 2B、4B、9B 稠密模型,以及總參數約 350 億、啟用參數約 30 億的 35B-A3B MoE。模型接受文字、圖片、音訊與影片,輸出中英文文字,並可切換直接回答與逐步推理模式。技術報告

其技術重點是讓視覺與音訊編碼器將媒體轉成 token,再交由語言模型處理;影片影格帶有時間戳記。這使應用能在同一請求中結合畫面事件與對白,適合測試影音摘要、內容檢索及跨模態問答。團隊表示,模型經約 1.2 兆多模態 token 預訓練,後續加入多教師 OPD、抑制重複的 MrDPO 與專項強化學習。模型卡

開發者可取得 BF16、FP8、AWQ、GGUF 與 NVFP4 版本,但各格式的執行路徑不同:官方提供經修補的 vLLM、SGLang,以及處理 GGUF 的原生執行環境。服務介面沿用 /v1/chat/completions,透過 video_url.use_audio 決定是否讀取原聲,並以 fps、max_frames 控制影格抽樣。工程上應固定抽樣設定,才能比較開啟音軌前後的品質與成本。部署文件

記憶體規劃尤其需要留意。35B-A3B 的 BF16 權重約 67.39 GiB,還須預留媒體輸入與生成快取空間;30 億啟用參數不能當作完整載入需求。2B AWQ 模型卡也明示,所附 Transformers 載入方式會將壓縮權重解回 BF16,因此下載量縮小不代表執行時等比例省顯存。大型模型卡、AWQ 說明

論文聲稱在逾 120 項評測中取得具競爭力的結果,但這仍是發布團隊的測試。導入前應以自有中英文影片重測對白辨識、聲畫關聯與長片資訊遺漏,並記錄推理模式、抽樣率及延遲。下一步值得觀察的是獨立重現結果與推論引擎的上游支援,兩者將決定部署及維護成本。評測摘要

來源

  1. WeMM-Video 技術報告
  2. Tencent/WeMM-Video 官方儲存庫
  3. WeMM-Video-35BA3B 模型卡
  4. WeMM-Video-2B-AWQ 模型卡