AI 基礎設施
AWS ParallelCluster 3.16、ノード診断機能を追加する一方でIAM、NFS、コンテナスタックも変更
新版AMIには`pcluster-diag`が組み込まれ、ノードの役割に応じてSlurm、IMDS、ディレクトリサービス、Lustreの状態を検査し、構造化レポートを出力できる。今回のアップグレードではAmazon Linux 2とAWS Batchのサポートも終了し、権限、ネットワークの外向き通信、実行環境に関する変更への事前対応が必要となる。
AWSは8月24日、ParallelCluster 3.16の正式提供開始を発表した。中心的な新機能は、公式AMIにインストールされる`pcluster-diag`だ。このツールはノードの役割とクラスター設定を読み取り、IMDS、予約済みアカウントとファイル権限、ParallelClusterの管理プロセス、`clustermgtd` heartbeat、ディレクトリサービス、Slurm accounting、FSx for Lustreなど、9カテゴリーの検査を選択的に実行する。結果はJSON形式で出力される。`FAILURE`または`CHECK_ERROR`があるとコマンドは失敗するが、`WARNING`の場合は成功として返されるため、運用自動化に組み込む際はexit codeだけに依存すべきではない。
ある[独立検証](https://dev.classmethod.jp/articles/aws-parallelcluster-3-16-0-released-pcluster-diag/)では、Ubuntu 24.04ノード上で9項目の検査が約4秒で完了し、誤った`munge.key`の権限を設定することで正常に失敗を検出できた。ただし、このツールはrootで実行する必要があり、レポートには完全な`cluster_config`と`dna_json`も含まれる。一元的にアップロードする前に、そこに含まれるトポロジー、リソース名、設定情報が機密データに該当しないかを評価する必要がある。
[3.16.0リリースノート](https://github.com/aws/aws-parallelcluster/releases/tag/v3.16.0)には、AI／HPCクラスターに影響する可能性のある変更も多数含まれている。クラスター作成時には、一時的なIMDSの問題により影響を受けたEBSマウントが再試行されるようになった。ログインノードの更新はhead nodeによって一元的に調整され、bootstrapの一時ファイルも`/tmp`の外へ移動したため、`noexec`を使用するカスタムAMIでの動作が改善される。一方、CLIには`tag:GetResources`権限が新たに必要となる。マネージドNFS serverではNFSv4の使用が必須になり、隔離サブネットでイメージをビルドする場合は`amazon-efs-utils.aws.com`への通信を許可する必要がある。Enrootは3.xから4.2.1へアップグレードされ、Pyxis、CUDA、NVIDIA driver、EFA、Slurmも同時に更新された。既存のコンテナジョブについては、事前に互換性テストを行うべきだ。Amazon Linux 2とAWS Batch schedulerのサポートも終了しているため、今回の更新をリスクのない診断機能の追加と捉えることはできない。