GitHub Repo
Transformersコミュニティが重みのエクスポート回帰を報告、特定の再命名規則でパラメータを復元できない可能性
10月30日のTransformersコミュニティの報告によると、5.21.0以降の特定の重み再命名規則で誤ったキー名が生成され、エクスポート後の再読み込み時にパラメータが失われる可能性があります。コミュニティから修正案と単体テストが提出されていますが、確認時点では未マージで、影響範囲は引き続き調査が必要です。
Transformersコミュニティは10月30日、モデルのエクスポートに関する回帰を報告しました。重み変換で末尾アンカー $ を含む WeightRenaming ルールを使うと、save_pretrained() が正規表現の記号をパラメータキー名に書き込む可能性があります。報告者によると、5.20.0では保存と読み込みを正常に往復できましたが、5.21.0と5.22.0では問題を再現できました。これはコミュニティによるテスト結果であり、メンテナーが確認した完全な影響バージョン一覧ではありません。問題報告
具体例として挙げられたのは、LiquidAIのLFM3-Audio-2Bです。本来は mask_embedding としてエクスポートされる重みが mask_embedding$ に変わり、再読み込み時に既存のルールと一致しなくなります。報告者は、その結果、実際にエクスポートしたモデルでパラメータがランダム初期化のまま残り、警告も出ずに音声生成に異常が生じると述べています。公開されているモデルコードから、このパラメータが音声デコーダーの深い層で使われ、標準偏差0.02の正規分布で初期化されることは確認できます。ただし、今回の確認では完全な再現手順を独自に実行していません。モデルコード
修正案では、重みマッピングを逆変換する際の文字列処理に問題があるとしています。置換文字列に変換するパターンでは末尾の $ を削除し、逆方向のマッチングパターンでは末尾アンカーを維持する必要があります。PR #50178はこの2箇所の処理を復元し、test_reverse_anchored_patterns を追加しています。確認時点ではPRはオープンのままで、ページ上にレビュー承認は表示されていません。そのため、正式リリースで修正済みとは見なせません。修正案
この報告は、ファインチューニング後のエクスポート、モデル形式の変換、デプロイ用パッケージの作成に特に参考になります。公式ドキュメントでは、save_pretrained() で保存したディレクトリを from_pretrained() の読み込み元として扱っています。そのため、エンジニアリング上の検証では、ファイルが正常に書き出されたことだけでなく、保存前後のパラメータキー名、テンソルの内容、固定入力に対する出力も確認するとよいでしょう。今後は修正案のマージ状況、リリースバージョン、他のモデルでの往復テストを確認する必要があります。現時点の証拠から、すべてのTransformersモデルが影響を受けるとは推論できません。読み込みと保存のドキュメント