Gander、全二重マルチモーダルエージェントをオープンソース化――「小脳・大脳」の役割分担で対話と長時間タスクを並行処理

Ganderは9月9日、モデルウェイト、学習コード、エージェント実行環境を公開した。音声エージェントにありがちな二者択一、すなわち低レイテンシモデルはリアルタイム対話に適する一方、より高性能な推論エージェントは計画やツール操作に時間を要するという課題の解決を目指す。このため、システムは「小脳」、オーケストレーション実行環境、交換可能な「大脳」に分割されている。

小脳はMiniCPM-o 4.5をベースとし、音声、映像、テキスト、出力を1秒単位の因果シーケンスとして配列する。各単位では、まず`listen`、`speak`、`interrupt`、`tool`のいずれかの制御トークンを予測し、続いて最大8個のテキストtokenを生成する。独立したTalkerは各単位で50個のS3音声tokenを生成し、約0.5秒のチャンクでストリーミング出力する。このため、モデルは音声を合成しながら映像と音声の入力を受け続けられる。コンテキストには最大128単位を保持できる。

長時間タスクでは、オーケストレーション層が、確認済みのユーザー指示、映像、タスク状態をバックエンドエージェントへ渡す。初版ではCodexを組み込みproviderとして採用している。ユーザーは実行中に条件を追加したり、タスクをキャンセルしたり、権限リクエストに対応したりできる。また、generation fenceによって、古くなった実行結果が最終回答として送信されるのを防ぐ。単に音声認識をテキストエージェントへ接続する構成とは異なり、割り込み、タスク世代、進捗通知を処理するステートマシンを備えている。

公式発表によると、学習には音声インタラクション、音声・映像理解、エージェントのライフサイクル、妨害サンプルを含む270万件の混合データを使用した。レポートでは、Daily-Omniで78.53%の正解率を達成し、45件の委任テストすべてで最終回答を正しいタスクに紐付けられたとしている。ただし、現時点では「全二重エージェント」の統一ベンチマークが存在せず、複数の結果は依然として開発チーム独自の評価に基づく。エンジニアリングチームはさらに、完全なサービス構成ではThinker、Talker、ASRをそれぞれ別のGPUで実行する点にも注意が必要だ。9月10日時点でデータセットはまだ公開手続き中であり、学習の再現性やコスト比較に関する情報も十分ではない。