FlashVector、性能最適化エージェントの対象をGPUカーネルから推薦モデルのサービススタック全体へ拡大

Unityの研究チームは9月15日、近年CUDAやTritonカーネルの最適化に使われてきたcoding agentを、モデルサービングシステム全体を扱える性能エンジニアリングエージェントへと拡張する試みであるFlashVectorを公開した。対象とするのは、推薦モデルや広告モデルで一般的に見られる多層的なボトルネックだ。GPUカーネルの上位には、PyTorchの計算グラフ、NVIDIA Triton Inference Server、バッチ処理とリクエスト処理、リアルタイムの特徴量変換サービスが存在する。いずれか一層だけを高速化しても、ボトルネックは別の場所へ移ることが多い。[論文](https://arxiv.org/abs/2609.17391)

FlashVectorは、異なる技術スタックを拡張可能な最適化環境としてラップし、エージェントがコードを読み、変更を作成し、ベンチマークを実行したうえで、性能フィードバックに基づいて反復的に探索できるようにする。論文に挙げられた事例には、GPU演算だけでなく、TritonのC++サーバーコードや、Pythonで記述された特徴量変換サービスも含まれる。この設計の要点は、単一のモデルにあらゆるシステム知識を持たせることではない。各層に適切なビルド、テスト、計測インターフェースを用意し、同じ最適化ループを複数の言語やコンポーネントにまたがって機能させることにある。

チームによると、このシステムはすでに[Unity Vector広告プラットフォーム](https://unity.com/products/unity-ads/vector)へ導入されており、モデルサーバーではスループットが最大2倍、レイテンシが最大1.98倍高速化し、特徴量ストレージサービスではスループットが最大1.6倍に向上した。エンジニアリングチームにとっての示唆は、性能最適化エージェントが「より高速なkernelを生成する」段階から、本番サービスを変更できる自動化されたシステムエンジニアリングの段階へ進む可能性があることだ。そのため、回帰テスト、SLO、データの正確性、変更レビューは、報酬関数とは別の強制的なゲートとして組み込む必要がある。

現時点のデータは、依然として主に著者が所属する企業の単一の広告プラットフォームから得られたもので、公開されているのも最大の改善幅に限られる。論文では、エージェントのコード、完全なワークロード、変更失敗率、推論コストは公開されていない。今後は、外部チームが変更を再現できるか、ハードウェアやトラフィック分布が変わっても性能を維持できるか、そしてエージェントが生成した低レベルの変更が長期的な本番負荷に耐えられるかを検証する必要がある。