OllamaコミュニティがGemma 4のテンプレート修正を提案、独自のモデル名で12Bの重みに小型モデル用フォーマットが適用される可能性

Ollamaコミュニティは10月6日、Gemma 4 12BのカスタムGGUFモデルでは、名前の付け方によって異なる会話テンプレートが適用される可能性があると報告した。事例ではmacOS上の0.35.1を使用しており、報告者によると、同日時点のmainブランチにも同じ判定ロジックが残っていた。公式のモデルラベルに12bが含まれていれば正しいテンプレートが選択されるが、サイズを示す文字列を含まないカスタム名は影響を受ける可能性がある。問題報告

問題はプロンプトレンダラーの選択ロジックにある。Ollamaはまずモデル名からサイズを判別し、判別できない場合はパラメータ総数を使って大型モデル用テンプレートを適用するかどうかを判断する。従来のしきい値は120億パラメータだったが、Googleのモデルカードに記載された12B Unifiedの実際のパラメータ数は119.5億であり、小型モデル用の分岐に入る境界条件が生じていた。Googleの説明によると、E2BとE4Bを除き、思考モードをオフにしても空のthoughtブロックが関係するため、テンプレート処理ではこの違いを維持する必要がある。Googleのモデルカード

報告者は同じ重みから3つの名前のモデルを作成し、思考モードをオフにして、生成を1トークンに制限した。一般的な名前ではプロンプトのトークン数が10だったのに対し、名前に12bを含めた場合、または大型レンダラーを明示的に指定した場合は14だった。さらに、Googleのテンプレートと50組の複数ターンプロンプトを比較したところ、大型レンダラーではすべて一致し、小型レンダラーではすべて空の思考ブロックが欠落していた。これらの結果はプロンプト列に差があることを示しているが、報告者は回答品質の変化を測定していない。再現手順と結果

同日に提案された修正では、しきい値を115億に引き下げ、モデル名にサイズが含まれない119億パラメータのテストケースが追加された。提出者によるとサーバーのテストは通過した。確認時点でPRはまだオープンで、レビュー記録もないため、正式リリースで修正済みとは見なせない。修正提案

モデルを独自にインポートしたり、推論バックエンドを比較したりするエンジニアにとって、モデル名も実際にモデルへ送られるプロンプトに影響し得ることを意味する。報告で示された暫定策は、ModelfileでRENDERER gemma4-largeを明示的に指定することだ。今後は修正がマージされるかに加え、重み、サンプリング設定、プロンプトを固定したときに、テンプレートの違いが中国語の回答やツール呼び出しの結果を変えるかどうかに注目したい。現時点では、こうした影響を実測した証拠はない。