Transformers 5.20.1、旧版 PyTorch の読み込み不具合を修正し、Beam モデルをサポート

Hugging Face は10月16日、前日の5.20.0に続いて Transformers 5.20.1をリリースした。メンテナーが互換性の後退を認め、旧バージョンの PyTorch でモデルを読み込めなくなっていた問題に対処した。今回の更新では Reflection AI の Beam モデルも追加され、既存環境の修正と新しいアーキテクチャの統合が行われた。公式リリースノート

読み込みの修正は、異なる2つの層に関わる。リリースノートによると、PyTorch 2.7での from_pretrained の問題には、分散チェックポイント機能を PyTorch 2.8 以上に限定することで対処した。別の変更では、DtensorShardOperation が PyTorch 2.6 と2.7でも動作するようになった。旧バージョンの計算環境を固定しているチームは、通常の重み読み込み、テンソルのシャーディング、分散チェックポイントの各経路を分けて確認する必要がある。パッケージをインストールできたことだけでは、互換性を判断できない。修正項目

推論関連では、エキスパート並列設定での DeepGEMM Mega MoE の修正と、HunYuan-VL のバッチ生成における画像の割り当て修正が記載されている。前者は複数 GPU を使うエキスパート処理経路、後者はバッチ内で画像を入力に対応付ける処理に関わる。ただし、リリースノートには修正後の包括的なスループット比較がないため、前バージョンで警告されていたエキスパート並列処理の速度低下が全面的に解消されたとは判断できない。バージョンノート

PyPI では5.20.1のソース配布物と wheel が公開されており、公開日は同じく10月16日。パッケージページには、Python 3.10以上および PyTorch 2.6以上のサポートが引き続き記載されている。旧版 PyTorch を使うデプロイ環境にも直接インストールできる修正版だが、個々の機能にはさらに新しいバージョンが必要な場合がある。PyPI パッケージ情報

エンジニアリングチームは、既存のモデルチェックポイントを使ってコールドスタート、シャーディング読み込み、初回生成を検証し、エキスパート並列デプロイではレイテンシとスループットを測定するとよい。ビジョンモデルを使う場合は、異なる画像を複数含むバッチテストも行い、出力との対応が正しいことを確認する。こうした検証によって、修正が実際のサービス経路をカバーしているか判断できる。