GitHub Repo
Transformers 5.23.0、モデルのエクスポートオブジェクトを統一。デプロイフローでは戻り値と保存インターフェースの調整が必要
Hugging Faceは11月13日、Transformers 5.23.0をリリースした。ExportedModelにより複数のバックエンドでエクスポート、保存、読み込みのフローを統一する。この変更でデプロイ成果物の追跡性が向上する一方、既存のエクスポートコードには互換性の調整が必要となる。

Hugging Faceは11月13日、Transformers 5.23.0をリリースした。デプロイツールチェーンに直接影響する更新の一つは、モデルのエクスポートで返されるオブジェクトをExportedModelに統一したことだ。新バージョンでは、Dynamo、ONNX Runtime、OpenVINO、ExecuTorchのエクスポート成果物を同じオブジェクトで扱い、保存、Hubへのアップロード、再読み込み、呼び出しのインターフェースを提供する。リリースノート
これまでは、export()が返すオブジェクトはバックエンドによって異なり、保存方法もさまざまな設定項目に分散していた。新バージョンではexport.jsonが追加され、各コンポーネントのファイル、エクスポート設定、トレース時の入力形状とデータ型、パッケージのバージョン、入出力の名前が記録される。複数のデプロイ形式を保守するチームにとって、共通の成果物記述方式となり、モデルがどのように変換されたか、どの入力が必要かを確認しやすくなる。このエンジニアリング上の利点は、インターフェースとメタデータの一貫性によるものだ。マージ提案
アップグレード時には、エクスポートの戻り値を直接使うコードを確認する必要がある。基盤となるグラフを取得するには.programを使い、複数のコンポーネントがある場合は.components[name].programを使う。従来OnnxConfigやOpenVINOConfigにあったoutput_pathは削除され、代わりにsave_pretrained()で保存する。カスタムエクスポーターも、新しいエクスポート、保存、読み込みメソッドを実装し、バックエンドの登録方法を調整する必要がある。インターフェースの変更
生成モデルには、さらに統合作業が必要となる。公式ドキュメントによると、export_for_generation()はプロンプトの事前入力とトークン単位のデコードを分離し、マルチモーダルモデルではエンコーダーも分離する場合がある。これらは独立した計算グラフであり、呼び出し側でデータフローと生成ループを構成する必要がある。したがって、エクスポートオブジェクトが統一されても、テキスト生成サービス全体が完成するわけではない。エクスポートのドキュメント
現時点でエクスポーターは実験的な機能であり、一部の修正は特定の上流バージョンに依存している。エンジニアリングチームは依存パッケージのバージョンを固定し、代表的な入力で保存後に再読み込みした結果を検証するとともに、キャッシュと動的形状を確認する必要がある。今後はAPIの安定性と、各バックエンドでの互換範囲を注視したい。今回、公式はあらゆるモデルの性能向上を推定できるような統一ベンチマークを提供していない。制限事項とバージョンに関する推奨事項