Gemma 4 12B、単一のTransformerで画像と音声を直接処理し、マルチモーダル展開の複雑さを軽減

GoogleのGemma 4 12Bは、密なデコーダー専用Transformerを採用している。最大の変更点はパラメータ規模ではなく、マルチモーダル入力を言語モデルの重みを通る経路へ直接組み込んだことだ。従来のVision-Language Modelは通常、独立した画像または音声エンコーダーで先に特徴量を抽出し、それをLLMへ渡す。一方、Gemma 4 12Bは48×48ピクセルのパッチを1回の行列乗算で隠れ空間へ投影し、16 kHzの音声を40ミリ秒のフレームに分割してから線形投影する。画像の位置情報は、分解されたX、Y座標のルックアップテーブルによって付加される。

この「エンコーダーなし」設計により、多段階の実行と分散したメモリ割り当てが不要になる。テキスト、画像、音声は最終的に同一のTransformer重みを共有するため、LoRAまたはフルファインチューニングによって、単一のトレーニングループ内でクロスモーダルな挙動を変更でき、凍結されたビジョンタワーや音声タワーを個別に調整する必要がない。文書認識、音声アシスタント、動画解析システムを構築するチームにとって、モデルのパッケージング、メモリ計画、推論スケジューリングがよりシンプルになる可能性がある。

12B版はテキスト、画像、音声を入力できる。Googleによると、16GBのVRAMまたはユニファイドメモリを搭載したデバイスで実行可能だという。LiteRT-LMは、OpenAI互換のローカルAPIサーバーとprefix cachingも提供する。技術レポートではさらに、thinking mode、量子化認識学習（QAT）版、speculative decoding向けのmulti-token prediction draft headについて説明している。長いコンテキストにはsliding-window attentionとglobal attentionを併用し、公式発表ではglobal KV cacheの使用量を最大37.5％削減できるとしている。

それでもエンジニアリングチームは、time to first token、音声の長さや画像数の増加に伴うVRAM使用量の推移、量子化後のクロスモーダル品質を自ら測定すべきだ。生の信号を直接投影することで前処理は減るものの、知覚と推論が同一モデル内でより密接に結び付けられる。専門的な画像、アクセント、ノイズ、長時間動画において専用エンコーダーを安定して上回れるかどうかは、独立した評価を待つ必要がある。