Perceptron Mk1.5、動画内の物体追跡を追加し、音声理解とツール呼び出しを統合

Perceptronは9月25日、Mk1.5を発表した。知覚モデルにネイティブな音声理解、動画内の物体追跡、ツール呼び出しを追加し、プラットフォームAPI経由で提供している。モデルはテキスト、画像、動画、音声を入力として受け取り、テキスト、座標点、ボックス、多角形、物体軌跡を出力する。動画分析や具身エージェントに利用できる。[公式発表](https://www.perceptron.inc/blog/introducing-perceptron-mk1-5)

技術面の要点は、物体の空間位置を時間系列としてつなぐことだ。SDKの`result.tracks`には、物体ラベル、メディアインデックス、タイムスタンプ付きの観測点が含まれる。複数の画像や動画は`asset_idx`で区別される。棚卸しやスポーツ動画では、軌跡によって同じ対象の異なる時点での位置を結び付け、後段のプログラムで移動やイベントの順序を処理できる。エンジニアリングの観点では、フレームごとの検出後に別途、物体を対応付ける処理を組む手間を減らせる可能性がある。ただし、遮蔽後も同一対象として追跡できるかは、実際の素材で検証する必要がある。[SDKの説明](https://pypi.org/project/perceptron/0.4.0/)

音声サポートには明確な制限もある。変更履歴によると、音声は1セグメントあたり最大16,384トークンで、時間にして約21.8分。ほかの入力と共有する36,864トークンのコンテキストを消費する。動画の音声トラックはデフォルトでは処理されず、`vision_config.enable_audio_in_video`を明示的に有効にする必要がある。音声付き動画をアップロードしただけでは、モデルが音声も分析するとは限らない。[変更履歴](https://docs.perceptron.inc/perceptron-mk1.5/changelog)

ツール連携は、アプリケーションが関数を実行して結果を返す多段階のフローで行う。モデルカードによると、同じリクエストでツールとJSON Schemaまたは正規表現による出力制約を同時に指定することはできない。そのため、固定形式の結果を必要とするエージェントは、ツールの呼び出しループが終わった後に最終回答を別途リクエストする必要がある。アプリケーション側では`finish_reason`も確認し、長さ上限で打ち切られた応答を完全な結果として扱わないようにする。[モデルカード](https://docs.perceptron.inc/perceptron-mk1.5/models/perceptron-mk1-5)

性能について、公式発表ではMk1と比べてエンドツーエンドの処理完了速度が最大4.7倍になったとしている。テストはH100を1基使用し、3回の実行の中央値を採用。チャット、画像質問応答、動画負荷を対象とした。これはベンダーによる自社測定であり、異なる解像度、同時実行数、推論設定にそのまま当てはめることはできない。また、ロボット制御ループのリアルタイム性を推定する根拠にもならない。各チームはネットワーク、ツール実行、長時間動画によるテールレイテンシを測定する必要がある。[テスト条件](https://www.perceptron.inc/blog/introducing-perceptron-mk1-5)

導入にはPython 3.10以上とSDK 0.4.0以上が必要だ。既存のデプロイでは、公式が同日、Perceptron APIのIsaac 0.1／0.2のモデルIDを3つ無効化した点にも注意が必要で、これらへの呼び出しは404を返す。移行後はAPIに接続できることを確認するだけでなく、追跡品質、音声の利用量、ツールの成功率を改めて検証する必要がある。[パッケージ要件](https://pypi.org/project/perceptron/0.4.0/)、[移行に関する発表](https://docs.perceptron.inc/perceptron-mk1.5/changelog)