NVIDIA PAIR、互換プロキシでアイドル状態のPCにルーティングし、ローカルのマルチエージェント推論を複数ノードへ分散

NVIDIAは9月3日、オープンソースのPersonal AI Router（PAIR）のベータ版を公開した。家庭や小規模スタジオにあるWindows、Linux、macOSのコンピューターを、柔軟な推論プールとして構成する試みだ。PAIR自体は新しい推論エンジンではなく、各ノードでは引き続きOllamaまたはLM Studioがモデルをロードして実行する。PAIRは互換性のあるローカルAPIエンドポイントを引き受けるため、既存のエージェントフレームワークは単一のアドレスを指定するだけで済み、背後に何台のマシンがあるかを認識する必要はない。

ノードはmDNSで自動検出するか、IPアドレスを使って追加できる。ユーザーがペアリングを承認すると、ノード間は相互TLSと生成された証明書を使用して通信する。スケジューラーは、マシンがオンラインかどうか、推論エンジンの状態、指定モデルが存在するか、進行中のジョブ数、GPU使用率を確認したうえで、新しいリクエストを条件に合うノードへ割り当てる。ストリーミングレスポンスも同じプロキシを経由して返される。ノードがスリープ状態になった場合、オフラインになった場合、またはフォアグラウンドアプリケーションに占有された場合は、利用可能なプールから外れることができる。

この設計が主に解決するのは、マルチエージェントや複数のローカルアプリケーションが同時にモデルを呼び出す際の待ち行列の問題であり、単一モデルの容量不足ではない。各リクエストは開始から終了まで同じノード上に留まるため、PAIRはテンソル並列、モデル分割、マシン間でのVRAM集約を行わない。対応ハードウェアには、RTX 20シリーズ以降、RTX PRO、DGX Spark、Apple M4以降を搭載したデバイスが含まれる。

公式デモでは、5つのサブエージェント、Qwen 3.6 35B A3B、Ollamaを使用した。異種の3台のデバイスでは平均所要時間が8分48秒だったのに対し、RTX SparkノートPC1台では18分だった。ただし、これは特定の構成によるデモにすぎず、ワークロードの分布、ネットワーク遅延、複数回の反復データが示されていないため、線形な高速化を意味すると推論することはできない。今後エンジニアリングチームは、処理途中でノードに障害が発生した場合の再試行セマンティクス、同名モデル間のバージョン整合性、スケジューリングの公平性に加え、mDNS、証明書ローテーション、プロキシエンドポイントが信頼されていないローカルネットワークを想定した脅威モデルに耐えられるかを検証すべきだ。