GitHub Repo
Transformers、チャットテンプレートの互換性修正を提案 5.23.0のメッセージオブジェクトでのクラッシュ報告に対応
11月15日の報告によると、Transformers 5.23.0では、dataclassやPydanticのチャットメッセージを処理する際、テンプレート適用前に例外が発生する可能性がある。同日に提案された修正はtokenizerとprocessorを対象としているが、まだマージされておらず、現時点のテスト結果は提出者によるものだ。

Transformersコミュニティは11月15日、チャットテンプレートのバージョン回帰を報告した。5.22.2では処理できていたdataclassおよびPydanticのメッセージオブジェクトが、5.23.0と報告者がテストしたmainのコミットでは、apply_chat_templateの呼び出し時にAttributeErrorを引き起こす。再現例にはOpenAI SDKのChatCompletionMessageが含まれている。そのため、SDKの応答を会話履歴に戻すツール呼び出しフローでは、次のラウンドで入力を整える際に処理が中断する可能性がある。問題報告
チャットテンプレートは、ロール、内容、モデル固有の制御トークンを入力シーケンスにまとめるもので、会話データを生成処理に渡す重要な役割を担う。公式ドキュメントでは、roleとcontentを含む辞書のリストが例として示されている。このことから、今回まず確認すべきなのはメッセージオブジェクトを混在させる統合コードであり、すべての辞書入力が影響を受けるとは判断できない。公式ドキュメント
報告では、データ処理の順序が問題として指摘されている。プログラムはmsg.items()を使って値がNoneのフィールドを取り除くが、その時点ではオブジェクトを辞書に変換していない。既存テストはテンプレート描画の後段の関数を直接呼び出していたため、公開入口で先に失敗するケースをカバーできていなかった。これは、低レベルの描画結果だけをテストしていると、入口での型互換性の問題を見落とす可能性があることも示している。再現手順と分析
同日に提出されたPR #50775は、メッセージの正規化ロジックを共通化し、Mapping、dataclass、Pydanticオブジェクトを先に変換してから空値のフィールドを取り除くことを提案している。また、processorが単一のオブジェクトメッセージをバッチ会話と誤判定する問題も修正対象としている。提出者は45件のテストと11件のサブテストが通過したと報告しているが、ページ上ではメンテナーによるCI承認待ちと表示されており、上流での検証が完了したとはまだ言えない。修正提案
アップグレードを準備するエンジニアリングチームは、実際に使うSDKの応答オブジェクトを、完全なテンプレート適用の入口に通すチェックを追加するとよい。空値フィールドとprocessor経由の経路も対象に含める。今後は修正のレビュー、CIの結果、正式リリースへの取り込み状況を追う必要がある。現時点の証拠が示すのは特定の入力型における互換性回帰であり、モデルの生成品質が損なわれたと結論づけるには不十分だ。