SenseNova-U1.5、ネイティブ視覚統一アーキテクチャのレポートを公開。ただし完全な学習パイプラインは未公開

SenseNovaチームは9月11日、U1.5の技術レポートを追加公開し、8月に先行公開していた重みについて、アーキテクチャと学習手法のより詳細な説明を示した。モデルはNEO-unifyアプローチを採用しており、視覚エンコーダーやVAEを別途接続せず、空間的に連続したpatch reconstructionによってピクセルとテキストの共通インターフェースを構築する。同一の自己回帰システムで、Visual Question Answering、text-to-image生成、画像編集、画像とテキストを交互に含む生成を実行できる。MoT構造では、能力間の競合を異なるexpertで処理し、最大でネイティブ4K出力に対応する。

post-training段階では、美的品質、中国語・英語のテキストレンダリング、インフォグラフィック、編集の各expertを個別に最適化し、その後、multi-expert on-policy distillationによって能力を統合する。論文は、画像品質、複雑な構図、複数の参照画像を用いた編集、テキストレンダリングの評価で改善を達成したとしている。model cardでは、Apache 2.0ライセンスの重み、Transformersによる推論例、text-to-image生成および編集コードが提供されている。リファレンス環境はPython 3.11、PyTorch 2.8、CUDA 12.8で、読み込み時にはtrust_remote_code=Trueが必要となる。現時点ではHugging Face Inference Providerによる直接のホスティングにも対応していない。

本当に注目すべきなのはデモ画像そのものではなく、「理解と生成で別々の表現を用意してアラインメントする必要がなくなる」ことが、クロスモーダルな情報損失の低減につながるかどうかだ。現段階の数値は主にチームによる自己評価に基づいている。また、model cardに記載された総パラメータ数と8B-MoTという名称の関係についても、より明確な説明が必要だ。密集した小さな文字、中国語と英語の混在、正確な個数の表現、手の描写、複数回の編集に伴うドリフトは、依然として既知の弱点である。チームはSFT、強化学習、distillationの各パイプラインを公開するとしているが、それまでは外部から再現できるのは推論に限られ、データレシピや学習結果を完全に検証することはできない。