多模態生成
WithEveryone、アイデンティティとレイアウトを紐付けて10人の群像を生成—ただし重みは未公開
Tencent Hunyuanと復旦大学の研究チームがWithEveryoneを発表した。各参照人物を構造化レイアウトに紐付けたうえで、領域別のアイデンティティ損失を用いて生成を監督する。著者らが構築したアイデンティティ分離テストでは、人物の網羅率を高め、コピー&ペーストの痕跡を減らしたが、基盤モデルの既存ライセンスにより、研究版の重みは公開できないという。

複数人物の参照画像を用いた生成の難しさは、「顔が似ているか」だけではない。各アイデンティティが正しい位置に現れるか、また学習時に複数の予測顔を参照人物と一対一でどう対応付けるかも課題となる。[WithEveryone](https://arxiv.org/abs/2608.20336)は、この問題をプランニングとレンダリングの2段階に分解する。まず各参照人物をアドレス指定可能なidentity tokenへ変換する。続いてモデルが、人物領域、顔領域、姿勢情報を含むアイデンティティ—レイアウト計画を予測し、それを視覚条件として最大10人の群像を生成する。
中核となる学習手法のLayout-Grounded ID Lossは、顔のembeddingを使って複数の予測領域を事後的に対応付けるのではなく、アノテーション済みの顔領域を利用し、指定されたアイデンティティの損失を対象位置へ直接適用する。もう一つのID Representation Forcingでは、画像合成を始める前に各アイデンティティの表現を一つずつ予測するようモデルに求め、長いシーケンスの生成中に人物が抜け落ちる可能性を抑える。この明示的な紐付けにより、レイアウト計画、アイデンティティ保持、最終レンダリングを個別にデバッグすることも可能になる。
人物のアイデンティティが学習データセットと重複しない著者らのテストでは、対象シナリオにおける顔類似度がGPT-Image-2の0.462から0.499へ向上し、コピー&ペーストの痕跡を示す指標は0.169から0.055へ低下した。システムは指定されたアイデンティティの97.3%を網羅し、人物の重複率は2.8%だった。これらの数値は、複数人物生成における主なボトルネックが、顔エンコーダーの容量拡大だけではなく、アドレス指定可能なプランニングと監督信号の整合にある可能性を示している。
ただし、[公開リポジトリ](https://github.com/doby-xu/WithEveryone)に現在あるのは手法の説明のみで、実行可能なコードやモデルの重みは提供されていない。研究チームによると、研究版はcheckpointの再配布を認めていない基盤モデルをベースとしており、公開可能なバージョンを再学習しているという。そのため現時点では、速度、メモリ要件、失敗事例、評価実装を独立して検証できない。また、顔類似度が高くても、姿勢、手、遮蔽、文化的文脈まで正しいとは限らない。今後注目すべきなのは、公開版が論文で報告された性能を維持できるか、そして10人を超える場合でもレイアウト制御が安定するかどうかだ。