ホームへ戻る

GitHub Repo

Transformersコミュニティ、音声モデルのキャッシュが参照を保持し、繰り返し読み込むとGPUメモリが蓄積する可能性を報告

11月16日のTransformersのIssue報告によると、XcodecとHiggs Audio V2 Tokenizerのメソッドキャッシュがモデルオブジェクトの解放を妨げる可能性がある。報告にはCPUでの最小再現コードが添えられているが、完全な影響範囲と正式な修正状況は確認されていない。

prayitno from Los Angeles, USA · CC BY 2.0 · Image source
zh-Hant

Transformersコミュニティは11月16日、音声モデルのメモリ解放に関する問題を報告した。ユーザーによると、XcodecとHiggs Audio V2 Tokenizerで特定の長さ計算を実行すると、モデルへの参照を削除してガベージコレクションを実行しても、オブジェクトが残存する場合がある。報告環境はTransformers 5.15.1で、メインブランチにも同じコードが残っているという。ただし、これはユーザーによる診断であり、すべてのバージョンが影響を受けるとは断定できない。Issue報告

焦点となっているのは、_get_conv1d_layers に付与された lru_cache だ。Pythonの公式ドキュメントによると、この種のキャッシュは、項目が追い出されるかキャッシュがクリアされるまで、引数と戻り値への参照を保持する。インスタンスメソッドに適用した場合、引数には self も含まれる。そのため、呼び出し側の変数を削除しても、モデルへの参照がすべてなくなるとは限らず、キャッシュがオブジェクトのライフサイクルを延ばす可能性がある。Python公式ドキュメント

報告には、重みをダウンロードせずに実行できるCPUテストが含まれている。ランダムに初期化したモデルと弱参照を使って解放の結果を比較したところ、長さ計算を呼び出さなければ解放される一方、呼び出すとオブジェクトが残存したという。ユーザーはさらに、実際の音声サービスでモデルを繰り返し読み込むと、FP32のcodec重みが毎回約770 MB残ると述べた。このメソッドのキャッシュをクリアした後は、6回再読み込みしても表示上のメモリ使用量が安定したという。これらの数値は独立に検証されていない。再現手順と観察結果

この処理経路は音声サービスに直接関係する。Hugging Faceの公式サンプルでは、HiggsAudioV2TokenizerModel.encode() で音声をコードに変換し、decode() で復元する。このモデルは、リアルタイムまたは大規模な音声処理向けと説明されている。タスク間でモデルをアンロードして容量を確保するデプロイ環境では、オブジェクトへの参照が残り続けると、長時間稼働に必要な容量を過小評価するおそれがある。モデルドキュメント

現在の議論では、キャッシュの削除、またはインスタンス内キャッシュへの変更が提案されている。エンジニアは今後、2種類のモデルを対象にした解放テストが行われるか、修正がマージされるか、連続した読み込みとアンロードの実測結果がどうなるかを確認するとよい。上記の参照保持の仕組みから推測すると、単一の推論におけるピーク値だけではこの種の問題を見つけにくい。デプロイ時の検証では、複数回のタスク終了後にメモリ使用量の基準値がどう推移するかも観察する必要がある。修正案の議論

出典

  1. Xcodec / HiggsAudioV2Tokenizer: @lru_cache on _get_conv1d_layers keeps every model alive
  2. functools.lru_cache — Python 官方文件
  3. Higgs Audio V2 Tokenizer — Transformers 文件