ComputeArena、ローカル推論のベンチマーク手順を公開　署名付きレポートにモデルと環境を記録

Base Computeは9月22日、ComputeArenaを紹介した。社内で使っていたローカル推論のベンチマーク手順を、オープンソースのコマンドラインツールと公開ランキングにしたものだ。モデル、量子化形式、チップ、実行環境を併せて記録し、毎秒のトークン数とともに、追跡可能なテスト条件を残す。[技術発表](https://huggingface.co/blog/basecompute/local-inference-benchmarks-computearena)

現在、このツールはBaseRTとllama.cppの個別のベンチマークプログラムと連携し、macOSのApple Silicon環境およびLinuxに対応している。MLXとvLLMのアダプターはまだ提供されていない。デフォルトではプリフィル長を128から16,384トークンまで変化させ、デコードテストでは128トークンを生成し、3回の測定結果を記録する。カスタムワークロードの結果はローカルレポートとして保存できるが、ランキングへの提出にはデフォルトのスイープを完了する必要がある。[公開実装](https://github.com/basecompute/computearena-cli)

モデルの識別では、上流のモデル、変換後の実ファイル、出所を裏付ける情報を区別する。ダウンロード時にはファイルのバージョンを固定し、ハッシュを照合する。出所が不明または曖昧なファイルは、未解決の状態のまま保持する。このため、同じ4ビットと表記されていても、BaseRTとGGUFの重みは異なるバリアントに当たり、モデル名だけを見て1件の結果にまとめることはできない。[モデルの出所に関するルール](https://github.com/basecompute/computearena-cli/blob/main/docs/model-identity.md)

レポートには各測定のトークン数と所要時間を保存し、温度やメモリプレッシャーなどの環境情報も記録する。モデルファイルと実行ファイルはテストの前後にハッシュを計算し、内容が変わっていれば署名しない。結果はまずローカルに保存し、ユーザーが公開予定のデータを確認してから提出する。ランキングは現在、指定されたプリフィルおよびデコードのワークロードに基づいて順位を表示している。[レポート設計](https://huggingface.co/blog/basecompute/local-inference-benchmarks-computearena)、[公開ランキング](https://computearena.ai/)

クールダウンモードにも実装上の違いがある。現在、BaseRTは一連のテストを始める前に1回待機するのに対し、llama.cppは各ワークロードを実行する独立したプロセスの開始前に待機する。このことから、同じ名前のモードを選んでも、各テストの開始時に熱状態が一致するとは限らないと推測できる。エンジニアは測定記録を確認する必要がある。[実行条件](https://github.com/basecompute/computearena-cli)

比較上の制約にも引き続き留意する必要がある。2つのランタイムでは、ウォームアップとワークロードの実行順序が異なる。署名が証明するのは、署名後にレポートが改変されていないことだけであり、マシンが性能を正しく報告していることまでは証明できない。モデルの出所を照合しても、公開者の表記が正しいことは保証されず、異なる量子化方式で出力品質が同等であることも証明できない。[信頼の境界](https://github.com/basecompute/computearena-cli/blob/main/docs/model-identity.md)、[著者による説明](https://huggingface.co/blog/basecompute/local-inference-benchmarks-computearena)

導入を担うチームにとって、この手順は再測定や性能差の原因を追跡するための出発点となる。実務では、同じワークロードとコンテキスト条件を選び、各測定の所要時間と環境記録を確認したうえで、中国語タスクの品質を別途評価する必要がある。今後は、コミュニティがより多くのハードウェアの測定結果を充実させられるか、ランタイム間のテスト条件をさらにそろえられるかが注目される。