AI 基礎設施
Azureのエージェントワークフロー実測でCPU–GPUの断片化が明らかに、Agoraはアイドル計算資源を回収しつつテールレイテンシを維持
Microsoft Azureの研究により、エージェントがモデル推論、ツール、オーケストレーターの間を繰り返し切り替えることで、CPUが再びクリティカルパスに入り、その一方でGPUは頻繁にアイドル状態になることが示された。プロトタイプシステムのAgoraは、ワークフローの特性に応じて計算資源を回収できるが、並列エージェントへのGPU割り当てを誤って縮小すると、テールレイテンシがかえって16倍に悪化する。
エージェントサービスは、もはや互いに独立した一連のLLMリクエストとして扱うことはできない。[Microsoft Azureチームの研究](https://arxiv.org/abs/2608.04458)は、24時間分の本番環境トレースを分析し、96コアのAMD EPYC 7V12と8基のNVIDIA A100を搭載したサーバー上でSWE-Agent、Trae、CORAL、Owlを再現した。各タスクは、推論、ツール実行、オーケストレーションロジックの間を行き来しながら、CPU–GPU境界を何度も越える。TraeのホストCPU使用率の中央値はわずか11%だったが、ビルドとテストが同時に開始されるとほぼ100%に達した。4つのフレームワークはいずれも平均GPU SMアクティビティが55%未満であり、平均負荷が低くても瞬間的なボトルネックが存在しないとは限らないことを示している。
この結果を踏まえ、チームはAgoraを開発した。Agoraは汎用サーバー上でアイドル状態のコアを動的に回収し、スケジューラー／オーケストレーター／ツールエグゼキューターごとにリソースプールを分け、複数のエージェントを共有推論インスタンスへ統合する。低負荷時には、CPU harvestingによってコロケーションされたワークロードに本来の性能の95%を提供しながら、エージェントの速度低下を2.8%に抑えた。ロールアウェアなプール分割では、ツールのCPU使用量を最大46%削減した。起動タイミングがずれるOwlでは、GPUメモリのオーバーコミット、状態のプリフェッチ、モデル重みの共有により、GPU使用数を3分の1削減しつつ、生成スループットを82%向上させ、テールレイテンシを2.5分の1に短縮できた。[Intelの技術資料](https://www.intel.com/content/www/us/en/content-details/916705/agentic-ai-requires-more-cpus.html)も、ホスト側の計算能力を増やすことで、GPUへの供給不足によるコストを抑えられると指摘している。
ただし、これは汎用的な「GPU割り当てを減らす」処方箋ではない。CORALのエージェントは並列に動作するため、GPUの半分を引き上げるとスループットが71%低下し、テールレイテンシは16倍に悪化した。Agoraの実装はまだ公開されておらず、本番環境データも独立して再生できない。エンジニアリングチームは今後、ロール、突発的なツール負荷、エージェントの実行重複率を先に測定したうえで、インスタンスを統合するか、デバイスの計算資源を回収するかを判断すべきだ。