ホームへ戻る

推論系統

AMD、Hyperloomをオープンソース化:マルチエージェントのクローズドループでGPU推論最適化を自動的に書き換え・検証

AMDはROCm Hyperloom 1.0.0a1を公開した。エージェントがパフォーマンスプロファイリングからカーネルおよびホストプログラムの修正までを実行し、正確性と速度のテストに基づいて変更を採用するか判断する。初版が対応するInstinct GPUは3モデルのみで、「数週間から数時間への短縮」も現時点ではAMDによる主張にとどまるため、導入者は自身のモデルで再現性を検証する必要がある。

Konstantin Lanzet · CC BY 3.0 · Image source
zh-Hant

AMDは、従来GPU専門家への依存度が高かった推論チューニングのプロセスを、オープンソースのマルチエージェントシステムHyperloomとしてパッケージ化した。Hyperloomは`Profile → Analyze → Plan → Optimize → Validate`というクローズドループを採用する。まずTraceLens-Agentが実行トレースを収集してボトルネックを特定し、続いてMagpieやIntelliKitなどのコンポーネントでカーネルを評価して、HIP、Triton、FlyDSLによる修正候補を生成する。各変更は正確性とパフォーマンスの検証に合格した場合にのみ、最終レポートへ反映される。これは単なる起動パラメータの自動探索ではなく、複数のリポジトリにまたがってGPU kernel、ホストプログラム、並列化設定を変更する可能性もある。

最初の公開バージョンはPython wheelでインストールでき、Cursor、Claude Code、Codexのsetup skillを使って作業環境を構築できる。現在の対応範囲はかなり限定的で、Ubuntu 22.04/24.04、ROCm 7.2、およびMI300X、MI325X、MI355Xに対応する。推論フレームワークはSGLang 0.5.12以降、またはvLLM 0.21.0以降に限られる。エージェントが低レベルのプログラムを直接書き換えて実行するため、エンジニアリングチームはテストノード、モデルファイル、認証情報、ソースコードを、破棄可能でアクセスが制限された環境に配置する必要がある。「結果を検証する」ことを、完全なセキュリティ分離と同一視してはならない。

AMDは、Hyperloomによってエンドツーエンドの最適化期間を数週間から数時間へ短縮できるとしている。しかし現時点では、複数のハードウェアとモデルを対象に独立比較できる包括的なベンチマークは存在しない。公開資料でも、エージェント呼び出しのコスト、探索予算、失敗率の内訳は示されていない。今後は、生成されたパッチ候補を容易に再現できるか、異なるバッチサイズやコンテキスト長でも安定して効果を移行できるか、さらにRadeon、より多くのROCmバージョン、その他の推論エンジンへ対応が拡大するかを注視すべきだ。

出典

  1. Hyperloom - Autonomous Agentic Inference Optimization for AMD GPUs
  2. AMD expands its software stack with Rocm.ai