NVLink 6、リンク再試行・障害分離・推論ホットスタンバイを単一の復旧スタックに統合

NVIDIAが新たに公開したNVLink 6のレジリエンス・アーキテクチャは、単にリンクの可用性を高めるだけでなく、ハードウェアのエラー処理、ネットワークのコントロールプレーン、モデルサービスの復旧を単一の経路として連携させることに重点を置いている。物理層ではまず、軽量なForward Error Correction（FEC）によって訂正可能なビットエラーを修正する。FECの能力を超えた場合は、ソフトウェアが介入する前にPhysical Layer Retryがパケットを再送する。リンクでさらに深刻な障害が発生すると、UPHYが物理パラメーターを再調整し、その間パケットはreplay bufferに一時保存される。リンク層ではcredit-based flow controlも採用し、受信側バッファーのオーバーフローによるパケット損失を防ぐ。

システム層では、冗長経路を備えたNMX Controllerを使用する。コンポーネントの異常を検出すると、ドメインを「contain and drain」状態に移行させ、障害領域への新規トラフィックの送信を停止しながら、残りのデータプレーンで転送を継続できる。管理CPUの再起動時には、制御機能を冗長ノードへ移行することも可能だ。これはtensor parallelおよびexpert parallelのワークロードで特に重要になる。局所的なリンクの不安定化によって、単一のGPUが失われるだけでなく、すべてのrankが同期したまま停止する可能性があるためだ。

推論側では、Dynamo Shadow Engine Recoveryが初期化済みのスタンバイプロセスを維持する。各プロセスは自身のNCCLおよびNIXL communicatorをあらかじめ確立し、GPU Memory Serviceを通じて既存のモデル重みを共有するため、HBM上に完全なコピーをもう1つ保持する必要がない。NVIDIAが2つのB200 workerとGLM-5.2を用いて実施した障害注入テストでは、2番目のworkerがサービスを再開するまでの時間を、コールドスタート時の283秒から7.3秒へ短縮した。障害発生後のp50 TTFTは1,311ミリ秒だったのに対し、コールドスタート群では23,815ミリ秒に達した。

ただし、これらの数値はベンダーが単一のモデルおよびトポロジーで測定したものにすぎない。デプロイにおいてより重要な問題は、どの状態を安全に引き継げるかだ。CUDA checkpointプロジェクトは、依然としてUVMと一部のexportable IPC memoryをサポートしていない。また、最近のNCCL issueでは、共有メモリ経路におけるcheckpoint／restoreが恒久的なデッドロックを引き起こす可能性も報告されている。プラットフォームチームは、リンクの縮退、コントローラーの再起動、rankの消失、checkpointからの復元を個別に障害訓練し、実測のMTTR、TTFT、未完了リクエスト数によって検証すべきだ。「lossless」をアプリケーション層で中断が一切発生しないという意味に解釈してはならない。