NVIDIA PAIR、単一のローカルエンドポイントでデバイス横断推論を振り分け――ただしGPUメモリは統合せず

NVIDIAは、Apache 2.0ライセンスのPersonal AI Router（PAIR）ベータ版を公開した。同一LAN内のRTX搭載PC、DGX Spark、Apple Silicon搭載Macを、共有ローカル推論プールとして利用できるようにする試みだ。アプリケーションは、OllamaまたはOpenAI形式と互換性のある単一のエンドポイントに接続するだけでよい。PAIRは、ノードのオンライン状態、推論エンジンの状態、モデルがロード済みかどうか、GPU使用率を追跡し、個々の独立したリクエストを適切なマシンへ送る。このため、既存のエージェントフレームワークは通常、変更を必要としない。

[NVIDIAの技術解説](https://developer.nvidia.com/blog/nvidia-pair-virtual-inference-router-expands-available-compute-on-your-local-network/)によると、ノードはmDNSを使って相互に検出し、ペアリング完了後は双方向TLSで通信を保護する。現在、Windows 11、Linux、macOS、およびx64、Arm64をサポートしており、実際の推論処理はOllamaまたはLM Studioが担う。公式デモでは、Hermes Desktopで5つのサブエージェントを作成し、3台のデバイスではタスクを8分48秒で完了したのに対し、RTX SparkノートPC 1台では18分を要した。ただし、これはベンダーによるデモであり、さまざまなモデル、ネットワーク、ハードウェア構成を網羅した独立ベンチマークではない。

最も重要なアーキテクチャ上の境界は、PAIRがリクエスト単位のスケジューリングのみを行う点だ。[プロジェクトのドキュメント](https://github.com/NVIDIA/Personal-AI-Router)には、各リクエストは開始から終了まで単一ノードによって処理されると明記されている。PAIRはVRAMを統合せず、1つのモデルを複数のホストに分割せず、生成中のシーケンスを分割することもない。70Bモデルがどのノードにも収まらない場合、小容量GPUを追加しても容量の問題は解決しない。主な効果が得られるのは、複数のエージェントまたはセッションが互いに独立した呼び出しを並行して実行できる場合だ。

「データがローカルにとどまる」という点も、条件付きの保証である。クライアント、モデルの取得元、推論エンジン、およびすべてのノードがローカル環境内に維持されている必要があり、外部のクラウドツールを接続すれば、依然としてデータが送信される可能性がある。今後、エンジニアリングチームは、異種ノード間のスケジューリングの公平性、モデルのコールドロードに伴うコスト、ストリーミングの中断やノードのスリープ時における再試行の挙動を測定すべきだ。また、ペアリング証明書、プロキシのリッスンインターフェース、自動作成されるファイアウォールルールも脅威モデルに含める必要がある。