TensorRT Model Connect パブリックプレビュー：Hugging FaceモデルをONNX経由なしでネイティブC++推論向けにパッケージ化

NVIDIAはTensorRT Model Connectを公開し、「PyTorchモデルはトレーニングできても、ネイティブアプリケーションへ安定してデリバリーするのが難しい」というエンジニアリング上のギャップを埋めようとしている。クイックスタートではQwen3-0.6Bを例に、`trtmc build`がHugging Face checkpointを直接読み込み、TensorRT engine、モデル設定、実行リソースを含む`.bundle`を生成する。`trtmc run`ですぐにテストでき、同じbundleをC++の`trtmc::load()`からロードすることも可能だ。この経路では事前にONNXへエクスポートする必要がなく、未サポートのoperator、dynamic shape、exporterのバージョン不整合といった一般的な障害要因を回避できる。

このプロジェクトは、言語モデルをCLIでラップするだけのものではない。そのアーキテクチャでは、モデルファミリーごとにbuilder、runtime pipeline、補助kernel、検証contractを用意し、さらにテキスト生成、文字起こし、segmentation、embedding、画像・動画生成などのtask APIによって、アプリケーションを基盤実装から分離する。Pythonプロトタイプを低レイテンシのC++、エッジデバイス、または既存サービスへ引き渡す必要があるチームにとって、バージョン管理されたbundleは、各所に散在するweight、plugin、ビルドパラメーターよりもリリースプロセスへ組み込みやすい。repositoryにはagent向けのガイドとskillも同梱されており、coding agentが新たなモデルサポートの追加とテストを支援できるようにすることを目指している。

ただし、Model ConnectはNVIDIAによって、あらゆるモデルを自由に取り込める汎用compilerではなく、reference implementationであると明記されている。使用可能なcheckpoint、精度、quantization方式、対応ハードウェアについては、引き続きsupport matrixを確認する必要がある。最適化済みのLLM／VLMをエッジにデプロイしたい場合、NVIDIAはTensorRT Edge-LLMを先に評価することも推奨している。エンジニアリングチームが次に注視すべき点は、新しいarchitectureがサポート対象に追加される速度、bundleのバージョン間互換性、実環境でのperformance benchmark、そしてcustom operatorやサードパーティ製ネイティブライブラリに関するsoftware supply chain securityである。