TensorRT Model Connect、モデルの checkpoint をネイティブ C++ bundle にコンパイル――ただしインターフェースは未確定

NVIDIA は8月28日、[TensorRT Model Connect](https://developer.nvidia.com/blog/deploy-an-open-model-from-checkpoint-to-inference-in-two-commands-with-nvidia-tensorrt-model-connect/)を正式に発表し、オープンモデルの checkpoint とネイティブ TensorRT アプリケーションをつなぐ統合レイヤーの提供を目指している。開発者はまず Python CLI で `trtmc build` を実行し、Hugging Face モデルまたはローカルの checkpoint を `.bundle` にコンパイルする。本番プログラムでは、C++ の `trtmc::load()` を使ってこれを読み込む。ランタイム側に PyTorch や Python は不要で、事前に ONNX へエクスポートする必要もない。bundle には TensorRT engine、tokenizer または processor のアセット、モデル固有の実行設定が含まれる。

これは新たな汎用推論エンジンではなく、TensorRT 上に構築されたリファレンス実装群だ。セマンティックレイヤー API は prompt、画像、音声を直接受け取り、前処理と後処理を担う。一方、より低レベルの module API は、名前付き tensor と個別コンポーネントを公開する。適切な実装がまだない operator については、TVM FFI を介してカスタム GPU kernel を組み込むことができ、グラフの残りの部分は引き続き TensorRT が実行する。コードは Apache 2.0 ライセンスで [GitHub](https://github.com/NVIDIA/TensorRT-Model-Connect) に公開されており、各モデルファミリーに Python builder、C++ dynamic library、エンドツーエンド manifest が用意されている。

現時点のドキュメントには、Python family plugin 84件、C++ runtime strategy 85件、E2E manifest 221件が掲載され、テキスト、vision、音声、diffusion、時系列の各タスクを網羅している。一方、7月29日時点で保存された GB300 のテスト snapshot が比較対象としているのは、76ファミリー、105件の single-process profile にとどまる。結果は相対的な baseline より5％超高速または低速かを示すインジケーターで表示され、各行の baseline もすべてが `torch.compile` というわけではない。したがって、公式の「`torch.compile` より高速になり得る」という説明を、すべてのモデルで一律の高速化が得られるという意味に解釈することはできない。また、コンパイル、ロード、warm-up の時間は推論 p50 に含まれていない。

さらに重要なのは、[既知の制限事項](https://nvidia.github.io/TensorRT-Model-Connect/release-support/known-issues/)に、現在の Web サイトは `Latest` branch を追跡しており、変更不能な正式ドキュメント版はまだ存在しないと記載されている点だ。多くの manifest では Hugging Face revision が固定されておらず、manifest が存在するからといって、対象 GPU で直近の検証に合格した記録があるとは限らない。bundle は引き続き、互換性のある model/backend DSO、CUDA、TensorRT、driver、GPU SM に依存する。また、汎用の TP／CP flag も multi-GPU 対応を保証しない。導入を検討するチームは、まず checkpoint、コード、software cohort を固定したうえで、自身の環境におけるコンパイル時間、cold start、精度 drift、throughput を測定すべきだ。次の重要なマイルストーンは、バージョン管理されたドキュメント、migration rule、再現可能な性能データを伴う最初の正式 tag となるだろう。