PTXBenchがLLMによるH100／B200専用PTXの直接生成を実測、最先端カーネルライブラリに安定して追いつけるモデルはなし

8月18日に公開された[PTXBench論文](https://arxiv.org/abs/2608.17379)は、LLMによるカーネル生成の評価対象を、CUDAプログラムがコンパイル可能かどうかの判定にとどめず、アーキテクチャ固有のPTXにまで掘り下げた。テストはH100 HopperおよびB200 BlackwellのGEMMとAttentionワークロードを対象とする。各試行ではモデルを最大8回呼び出し、正しいカーネルについてウォームアップ後にレイテンシを50回測定し、cuBLAS 13.1、cuDNN 9.20、またはFlashInfer 0.6.14と比較した。

このベンチマークは、「新命令を使用しているように見える」偽陽性を特に警戒している。システムはまずcubinを逆アセンブルして指定されたSASS命令を検索し、さらにNsight Computeを使って、その命令が実際のワークロードで本当に実行されたことを確認する。これにより、起動されないdummy kernel内に命令を埋め込んだだけのケースを排除する。ただし、この検証を通過しても、その命令が有用な計算を担っている、あるいは高速化をもたらしているとは限らない。

評価対象となった4モデルはいずれも、複数のワークロードにわたって最先端ライブラリに安定して匹敵することはできなかった。Claude Opus 4.8はB200 GEMMでcuBLAS比1.012倍、Gemini 3.1 Proは0.892倍を達成した。一方、2つのBlackwell Attentionバックプロパゲーションでは、Geminiが生成したCUDA／PTXカーネルはベースライン比でそれぞれ0.133倍と0.015倍にとどまった。同じモデルがTritonで書き直した場合は、それぞれ0.484倍と0.436倍だった。Qwen3.6-27Bが生成できた正しいB200 GEMMカーネルは1つだけで、選定されたBlackwell命令も実行されなかった。

著者らはさらに、失敗したカーネル、コンパイル時または実行時のフィードバック、教師モデルによる修復結果を用いてFixit教師ありデータを構築し、Qwen3.6-27Bをファインチューニングした。一部のタスクでは改善が見られたものの、汎化性能はデータカバレッジ、ワークロードのバランス、推論教師モデルの品質に大きく左右された。[オープンソース環境](https://github.com/zhang677/PTXBench)には、MiniPTXAgent、隔離された評価用イメージ、監査可能な実行トレースが含まれる。今後、エンジニアリングチームは、複数GPU、より多様な形状、race checkingを対象とする再現結果に注目すべきだ。現時点では、8ラウンドの探索と限られたワークロードだけでは、本番環境におけるカーネル最適化を代表するには不十分である。