最新模型
SenseNova-U1.5 公開原生視覺統一架構報告,但完整訓練流水線仍待釋出
SenseNova-U1.5 以不依賴獨立視覺編碼器或 VAE 的 MoT 架構,同一模型處理理解、推理、生成與編輯。9 月 11 日新增的技術報告揭露訓練方法與評測,現有權重及推論程式可用,SFT、RL 與多專家蒸餾程式仍未完整公開。

SenseNova 團隊在 9 月 11 日補上 U1.5 技術報告,讓先前已於 8 月釋出的權重有較完整的架構與訓練說明。模型採 NEO-unify 路線,不另外接視覺編碼器或 VAE,而是以空間連續的 patch 重建建立像素與文字共用介面;同一套自回歸系統可執行視覺問答、文字生圖、圖片編輯及圖文交錯生成。MoT 結構用不同專家處理能力衝突,最高支援原生 4K 輸出。
後訓練階段分別最佳化美學、中英文字渲染、資訊圖表與編輯專家,再以 multi-expert on-policy distillation 合併能力。論文宣稱在影像品質、複雜構圖、多參考圖編輯及文字渲染評測上取得進展;模型卡則提供 Apache 2.0 權重、Transformers 推論範例,以及文字生圖和編輯程式。參考環境為 Python 3.11、PyTorch 2.8 與 CUDA 12.8,載入時需要 trust_remote_code=True,目前也沒有 Hugging Face Inference Provider 直接代管。
真正值得觀察的是「理解與生成不再靠兩套表徵再對齊」能否降低跨模態資訊損失,而不是展示圖本身。現階段數字主要來自團隊自評,模型卡顯示的總參數資訊與 8B-MoT 命名也需要更清楚說明;密集小字、中英混排、精確數量、手部與多輪編輯漂移仍是已知弱點。團隊承諾公開 SFT、強化學習與蒸餾流水線,在此之前外界只能重現推論,不能完整驗證資料配方及訓練結果。