SiFiveとAMD、RISC-Vホスト上でROCm 10を実行し、Gemma推論をRadeon GPUへオフロード

SiFiveとAMDはAI Infra Summitで、異種AI推論システムを披露した。BigSky SF-2U870サーバーは、2.0 GHzで動作する32基のSiFive P870-D RISC-Vコアをホスト側に採用し、PCIe経由でAMD Radeon AI PRO R9700 GPUに接続。ROCm 10.0上でGemma4-E2Bを実行した。モデルの演算はGPUが担い、RISC-V CPUはオペレーティングシステム、ランタイム、データ準備、推論のオーケストレーションを担当する。したがって重要なのは、RISC-VコアでTransformerを直接計算することではなく、ROCmのホスト側コンポーネントを異なるISA上で動作させる点にある。

このデモの技術的な意義は、AIアクセラレーター向けソフトウェアが通常、GPU kernelだけで構成されているわけではないことにある。HIPランタイム、ドライバーインターフェース、メモリ管理、PyTorchや推論フレームワークの依存パッケージ、さらにコンテナや監視ツールにも、x86-64またはArm64を前提とする実装が暗黙に含まれている可能性がある。ROCmがRISC-Vサーバー上でモデルのロード、tensor転送、kernel起動を完了できれば、ハードウェア設計者は既存プラットフォームにホストCPUまで縛られることなく、オープンな命令セットのコントロールプレーンとAMD GPUを組み合わせられる可能性がある。

BigSky自体は、今回のデモ向けに構築された量産AIクラスターではなく、移植、チューニング、検証用の開発プラットフォームである。SF-2U870は、256GBのDDR5-5600、4基のPCIe 5.0 x16、2台の7.68TB U.2 NVMe、10/25Gbネットワークを備える。豊富なPCIeレーンにより複数のアクセラレーターカードのテストに適しているが、今回の発表で言及されたのはR9700とGemma4-E2Bのみで、モデルの精度、バッチサイズ、コンテキスト長、time to first token、token throughput、消費電力については説明されていない。また、ビルドスクリプトやコンテナハッシュも公開されていない。

したがって、これは依然として「ソフトウェアスタックが一通り動作する」ことを示す互換性上のマイルストーンと捉えるべきであり、RISC-Vが成熟したAIホストプラットフォームをすでに置き換えられることを示す性能実証ではない。エンジニアが次に注目すべき点は、ROCmのメインラインにriscv64パッケージとCIが追加されるか、PyTorchやvLLMなどの上位フレームワークをネイティブにインストールできるか、IOMMUとpinned memoryが安定して動作するか、さらにmulti-GPU、RCCL、障害テレメトリー、正式なサポートマトリクスが整備されるかである。これらのコンポーネントが再現可能になり、長期的に保守されて初めて、このデモは導入可能なデータセンター向け選択肢へと発展する。