ホームへ戻る

AI 推論與邊緣部署

Ultralytics 8.4.105、YOLO26深度モデルのエッジ展開を拡充し、量子化とエクスポート経路を修正

Ultralytics 8.4.105では、YOLO26深度推定モデルでHailo-8LとQualcomm QNNのサポートが追加され、CoreML、OpenVINO、NCNNなどのデプロイバックエンドも改善された。また、中断された知識蒸留チェックポイントを直接検証・エクスポートできるようになったが、性能向上についてはターゲットハードウェアごとに個別の測定が必要だ。

SparkFun Electronics · CC BY 2.0 · Image source
zh-Hant

Ultralyticsは7月25日に8.4.105をリリースした。今回の焦点は新しいモデル重みではなく、YOLO26の学習から異種ハードウェアへのデプロイまでのエンジニアリング経路を整備することにある。新バージョンでは、YOLO26 depthにHailo-8L向けのエクスポートおよび推論サポートが追加され、Qualcomm QNNとの互換性も拡大された。CoreMLでは、エクスポート可能なアップサンプリング演算に切り替えることで、動的入力サイズにおけるセグメンテーションモデルと深度モデルの問題を修正した。モバイルデバイス向けエクスポートの入力サイズも統一され、分類ではデフォルトで224、それ以外の検出、セグメンテーション、深度、姿勢推定、回転境界ボックスの各タスクでは640が使用される。これにより、タスクごとに生成される成果物間の設定差が縮小される。

学習とCUDAネイティブ推論には、オプションの`channels_last`メモリ形式が追加された。これにより、畳み込みワークロードでTensor Coreにより適したNHWCレイアウトを活用できる可能性がある。既存のNCHWは引き続きデフォルトであり、数値特性や性能特性が無条件に変わることを避けている。関連する修正には、畳み込みとBatchNormの融合、転置畳み込みの重み軸、CUDAキャリブレーション中にinference tensorが原因で発生するクラッシュへの対応が含まれる。

量子化については、OpenVINO INT8エクスポートでDFL演算を浮動小数点精度のまま維持し、境界ボックスの分布計算が過度に量子化されることを防ぐ。セマンティックセグメンテーションの`argmax`も、エクスポートされたグラフへ直接組み込めるようになった。このほか、NCNNのバッチ推論で先頭以降の画像が欠落する問題、OpenVINOのマルチGPUデバイスエイリアス、CoreML NMSの精度記録に関する問題も修正された。

もう一つの実用的な変更は、蒸留チェックポイントをstudent modelへ融合するようになったことだ。これにより、学習途中または中断時に保存された重みで`predict`、`val`、`export`を実行でき、学習を再開する前に必要だった手動変換を減らせる。ただし、公式からデバイス横断で統一されたスループットおよび精度の比較結果は提供されていない。エンジニアリングチームはアップグレード前に、量子化キャリブレーション、動的入力サイズ、バッチ入力、エッジデバイス上の精度について回帰テストを再実行する必要がある。

出典

  1. New Release: Ultralytics v8.4.105
  2. v8.4.105 — Fuse distillation checkpoints to the student model