Transformers 5.20.0をリリース、旧キャッシュAPIを削除し、エキスパート並列推論の性能低下を警告

Hugging Faceは10月15日、Transformers 5.20.0をリリースしました。同日、PyPIでもパッケージが公開され、リリース証明書に記載されたコミットはGitHubのバージョンタグとも一致しています。既存モデルを運用するエンジニアリングチームにとって、今回の更新で最も直接的な影響があるのは互換性と分散実行時の挙動です。アップグレード前に、実際の推論経路を確認する必要があります。パッケージとリリース証明書

公式は重大な変更の項目で、エキスパート並列（EP）推論の速度低下を明確に警告しており、現在対応中です。Mixture-of-Expertsモデルを採用するデプロイでは、検証作業が一つ増えることになります。新版で一部のエキスパートへのルーティングが修正されていても、全体のスループットが改善すると決めつけることはできません。リリースノートの警告では、影響を受けるモデル、ハードウェア、低下の幅は明らかにされていないため、実際のリスクは各自のワークロードで確認する必要があります。リリースノート

もう一つの移行上のリスクはcache_utils.pyにあります。新版では非推奨のチェックとメソッドが削除されているため、これらのインターフェースを呼び出しているカスタムモデルやラッパーは、現行のキャッシュAPIに切り替える必要があります。また、サブ設定の初期化を一元化するSubConfigSpecが導入され、既存のネストされた設定には変更が必要となる場合があります。こうした変更はモデルの読み込みや生成の流れに影響するため、パッケージのインポートが成功することを確認するだけでは、アップグレードの検証として不十分です。重大な変更の一覧

デプロイ関連では、新版によりDynamo、ONNX、OpenVINO、ExecuTorchへのエクスポート時に直接量子化できるようになりました。PT2E、ONNX Runtime、NNCFと統合され、静的・動的量子化のほか、INT8／INT4の重み圧縮に対応します。分散チェックポイントでは、FSDPとテンソル並列の組み合わせにおけるモデルおよびオプティマイザーの保存・読み込み機能が拡張され、異なる並列化設定間の変換もサポートされます。エクスポートと並列化の更新

エンジニアリングチームは次に、モデル、入力長、ハードウェアを固定し、アップグレード前後で生成結果、初回トークンのレイテンシ、デコードスループット、メモリ使用量を比較するとよいでしょう。量子化エクスポートでは、タスクの品質も確認が必要です。これらは変更内容を踏まえた検証案であり、公式のリリースページには、すべてのバックエンドに適用できる性能比較データは掲載されていません。