GitHub Repo
Transformersで連続バッチ推論時のCUDA graph作成中にメモリ不足、グラフ数の管理を調査
11月16日に報告されたTransformersのissueによると、一部のマシンでは連続バッチ推論のCUDA graph作成中にGPUメモリを使い果たす可能性があり、MLAモデルの追加後に問題が再発した。報告環境は開発版で、完全な再現例や根本原因の特定、正式な修正はまだない。
Transformersプロジェクトで11月16日、連続バッチ推論(continuous batching)のCUDA graph作成時に、一部のマシンでGPUメモリ不足が発生する可能性があるとしてissueが登録された。報告環境はTransformers 5.24.0.dev0、PyTorch 2.13.0+cu130、NVIDIA B200。現時点の証拠では、すべての正式版やGPUに影響が及ぶとは言えない。issue
連続バッチ推論では、生成ステップごとにリクエストを再配置し、完了した処理を新しいリクエストに置き換える。CUDA graphはGPUの実行フローをあらかじめ記録し、同じテンソル形状のバッチで再生することで、CPUによるディスパッチの負荷を軽減する。公式ドキュメントによると、クエリ長とKV長をパディングし、対応するグラフをキャッシュする。異なる形状では別途キャプチャが必要になる場合があるため、グラフの数もメモリコストの一部となる。連続バッチ推論のドキュメント
報告者によると、高速な実行経路を備えた一部のモデルではグラフ数が制限されており、これまでは問題が起きにくかったが、MLAモデルを追加した後に再発した。プロジェクトには以前グラフ数の上限があったものの、過去の測定で各グラフのコストは低いと判断され、上限は削除された。今回の調査では、CUDA、PyTorch、モデル実装の変更、キャッシュ更新、または上限の削除自体に問題があった可能性が検討されているが、結論は出ていない。報告内容
デプロイにあたっては、グラフのキャプチャ段階とリクエスト形状の変化も容量評価に含める必要がある。ドキュメントに記載された仕組みから考えると、固定長・固定バッチの定常負荷だけを測定しても、複数の形状で生じるメモリ使用量のピークを把握できない可能性がある。これは工学的な推論であり、今回の報告で測定・検証されたものではない。パディング間隔を小さくすると無駄な計算を減らせる一方、記録が必要な固有形状が増えるとドキュメントは明記している。設定上のトレードオフ
調査時にはバージョンも確認したい。公式APIドキュメントでは、max_cached_graphs は5.13以降で非推奨とされているため、旧版の上限設定をそのまま適用しても有効とは限らない。今後は、具体的な影響モデル、完全な再現スクリプト、グラフ数とメモリ使用量の比較測定が注目点となる。確認時点でissueはオープンのままで、修正ブランチやPRは示されておらず、利用可能な解決策があるとはまだ言えない。設定リファレンス、対応状況