合成顔でCLIPをファインチューニングするコンペの結果：フル訓練と少量データLoRAでそれぞれ異なる手法が勝利

IJCB-AFMFR 2026のコンペティション報告書が7月27日に公開され、ある具体的な問いへの回答を試みた。実在する人物の顔画像を訓練データに使わずに、汎用の視覚言語基盤モデルを効果的な顔認識器へ変換できるのか、という問いだ。主催者はバックボーンをCLIP ViT-L/14に統一し、すべての訓練画像をIDPERTURBで生成したうえで、フルデータと少量データの2部門に分け、フルファインチューニングとParameter-Efficient Fine-Tuning（PEFT）手法を比較した。

コンペティションには4チームから計8件の有効な提出があった。フルデータ部門では、DMSTI-NeurotechnologyがSub-Center ArcFace損失を用いたフルファインチューニングにより総合1位を獲得した。一方、少量データ部門では、Idiap-BSPのrank-stabilized LoRA手法が首位となった。後者は低ランク適応行列のスケーリングを調整することで、少量データによるファインチューニングの不安定性を軽減する。この結果は、利用可能な合成データが限られる場合でも、バックボーンの大半のパラメータを凍結することが、必ずしも総合的な最高性能を損なうとは限らないことを示している。

評価は単一の検証セットだけに基づくものではない。主催者はBorda countを用いて、LFW、CFP-FP、AgeDB-30、CALFW、CPLFW、IJB-B、IJB-C、TinyFaceにおける検証および識別結果を集約し、さらにRFWの4つの人口統計グループで公平性を確認した。複数の提出モデルが適応前のCLIPを明確に上回り、一部は主催者のベースラインも超えた。これは、合成IDデータによって汎用表現を生体認証という専門タスクに適応させられることを示している。

ただし、「合成データ」を使えばプライバシーやバイアスが自動的に解消されるわけではない。生成器は依然として、ソースモデルが持つ表現上の欠落を引き継ぐ可能性があり、公開テストセットのカメラ環境、年齢構成、人口統計分布も実環境とは異なる可能性がある。参加チームは4組にすぎず、順位も複数のデータセットを集約して決められているため、この結果だけを根拠に、特定のファインチューニング手法が普遍的に最良だと結論づけることはできない。今後エンジニアリングの観点から注目すべきなのは、センサーをまたぐテスト、未知の人口統計グループに対する公平性、モデルキャリブレーション、そして生成データと基盤モデルの訓練データソースを独立監査できるかどうかである。