GitHub Repo
Transformersでリモートコードのキャッシュ競合が報告、複数プロセスの読み込みで未完成のファイルを読み込む可能性
11月16日のTransformersへの問題報告によると、複数プロセスが共有キャッシュからリモートモデルのコードを読み込む際、コピーが完了していないPythonモジュールをインポートする可能性があります。報告にはオフラインでの再現コードとアトミックな置換の提案が含まれていますが、メンテナーによる確認や正式な修正はまだありません。
Transformersコミュニティは11月16日、モデル読み込み時の競合状態を報告しました。trust_remote_codeが必要なモデルを複数のプロセスが同時に読み込み、モジュールキャッシュを共有している場合、一部のプロセスが書き込み途中のPythonファイルを読み込み、まれにNameErrorやSyntaxErrorが発生する可能性があります。この報告はmainブランチの5.24.0.dev0を対象としており、安定版への影響範囲はまだ確認されていません。問題報告
報告者の分析によると、get_cached_module_fileはまず保存先のファイルが存在するかを確認し、その後shutil.copyfileでリモートコードをHF_MODULES_CACHEにコピーします。最初のプロセスがファイルを作成すると、別のプロセスがすぐに存在確認を通過し、コピーをスキップしてインポートを始める可能性があります。この時点ではファイル名は見えるものの、内容はまだ完全に書き込まれていません。そのため、共有キャッシュを使う複数rankの起動処理には失敗する可能性のある時間帯があります。技術的な詳細
報告にはCPUのみでオフライン実行できる再現コードが添えられており、コピーを意図的に遅くして競合が起きる時間帯を広げています。これにより、2回目の呼び出しがファイルの約半分しか書き込まれていない段階で戻ることが示されています。これは検証可能な仕組みの証拠ですが、実際のクラスターでの発生率を推定するには不十分で、異なるファイルシステムでの挙動も対象としていません。再現例
この読み込み経路はカスタムモデルに関係します。Hugging Faceの公式ドキュメントによると、カスタムモデルではモデルと設定のコードをHubにアップロードし、trust_remote_code=Trueを指定して読み込めます。エンジニアリング上の示唆として、複数プロセスでデプロイする場合は重みを準備するだけでなく、動的コードのキャッシュが完全に作成されているかも確認する必要があります。これは報告された仕組みに基づくデプロイ上の判断です。カスタムモデルのドキュメント
報告者は、まず同じディレクトリ内の一時ファイルに書き込み、その後os.replaceで目的のファイルと置き換える方法を提案しています。Pythonのドキュメントによると、この操作は成功すればアトミックですが、ファイルシステムをまたぐ場合は失敗する可能性があります。今後は、上流で修正が提案されるか、並行読み込みテストが追加されるか、共有ストレージ環境で検証されるかを確認する必要があります。確認時点でこのissueは未解決で、ページには関連する修正PRが掲載されていません。Pythonドキュメント、issueの状況