LiteRT.js、LiteRTのネイティブ推論スタックをブラウザへ――WebGPU、Wasm、実験的WebNNに対応

Googleはオンデバイス推論フレームワークLiteRTをブラウザに拡張し、JavaScript／TypeScriptバインディングのLiteRT.jsを公開した。従来の主にJavaScriptコアへ依存するWeb推論ソリューションとは異なり、新しいランタイムはWebAssemblyを通じてLiteRTのネイティブ最適化スタックを導入する。CPUパスではXNNPACKを使用し、GPUではML DriftがWebGPU経由で処理を実行、NPUではWebNNの利用を目指す。既存の`.tflite`モデルはブラウザ内で読み込み、コンパイル、推論まで完結できる。PyTorchモデルもLiteRT Torchで事前に変換でき、レイヤー単位の量子化ツールと組み合わせてモデルサイズと演算量を削減できる。

この変更の重要性は、単なる「オフライン実行」にとどまらない。モデルと入力データをクライアント側に保持することで、サーバー推論コスト、ネットワーク往復遅延、機密データを外部送信するリスクを抑えられる。また、物体検出、音声処理、ベクトル検索、画像強調を、よりリアルタイムに近いインタラクションとして実現できる。LiteRTリポジトリはApache 2.0ライセンスで提供され、WebGPUおよびWasmによるWeb推論を正式な機能として位置付けている。公式にはYOLO、Depth Anything V2、Real-ESRGANなどのワークロードも紹介されている。

Googleによると、2024年モデルのM4 MacBook Proを使った制御されたブラウザ環境では、一部の従来型ビジョンモデルおよび音声モデルにおいて、LiteRT.jsは他のWebランタイムと比べて最大3倍高速だったという。また、WebGPU、またはApple Core MLを経由するWebNNパスでは、CPU比で5～60倍の高速化を達成したとしている。ただし、これらはあらゆるデバイスに共通する結果ではない。ブラウザのドライバー、GPU性能、熱設計、オペレーターのカバレッジによって結果は変化するうえ、ChromeとEdgeのWebNNは依然として実験的機能である。

エンジニアリングチームは次の段階として、単発の推論時間だけを比較するのではなく、対象デバイスのマトリクス上でコールドスタート、モデルのダウンロード、ピークメモリ使用量、消費電力、テールレイテンシを計測すべきだ。また、WebNNの標準化とブラウザへの実装状況、生成モデルにおけるオペレーターのカバレッジ、量子化後の品質劣化も追跡する必要がある。これらの要因が、LiteRT.jsがデモ事例の段階を越えて大規模な製品に採用されるかどうかを左右する。