AMIE Video、リアルタイム診療を3エージェントに分割、模擬臨床評価で83%を達成

Google ResearchとGoogle DeepMindは8月10日、従来はテキスト中心だった医療対話システムをリアルタイムの映像・音声アーキテクチャへと発展させたAMIE Videoを公開した。このシステムは、単一モデルに応答速度と完全な推論の両立を求めず、3つの非同期エージェントで役割を分担する。TalkerはProject AstraのインフラストラクチャとGemini 3 Flashを使用し、直近5秒間の映像のみを読み取って低遅延の音声応答を生成する。PlannerはGemini 3.1 Proを用いて、症状の要約、鑑別診断、管理計画、対話のマイルストーンを維持し、最短10秒間隔で詳細な推論を実行する。Perceptionは、より長い映像・音声ウィンドウから咳、姿勢、発話速度、動作などの手掛かりを追跡し、永続的な観察メモリへ書き込んでTalkerが利用できるようにする。[論文](https://arxiv.org/abs/2608.09861)では、単一ターンの「能力ユニットテスト」と複数ターンの模擬評価も構築し、知覚、推論、インタラクションの失敗を個別に検証しようとしている。

研究では、俳優が再現可能な100件の臨床シナリオを用いて、AMIE Video、AMIE Text、米国のプライマリケア医10人を比較した。さらに医師20人が評価を行い、プロの模擬患者15人がユーザー体験を報告した。症例固有の評価尺度では、AMIE Videoが83%、医師群が68%だった。鑑別診断の第1候補の正答率は91%対77%、ビデオを通じた身体診察の指導は72%対39%だった。一方、診断上位3候補では差に統計的有意性がなく、信頼関係の構築や協働している感覚については、模擬患者は依然として人間の医師をより高く評価した。

エンジニアリング上の価値は、リアルタイムエージェントで頻発する「迅速な応答」と「時間をかけた推論」の衝突を、状態同期の問題へと置き換えた点にある。ただし、Plannerの情報が古くなることや、正しく知覚してもアクションがトリガーされないことなど、新たな故障モードも生じる。システムは依然として離散的なターン交代に依存しており、人間のように発話を重ねたり、映像に反応して即座に割り込んだりすることはできない。高周波の振戦、微妙な感情、正確な解剖学的位置の把握も引き続き弱点である。Googleが先に実施した[実臨床での実行可能性研究](https://research.google/blog/exploring-the-feasibility-of-conversational-diagnostic-ai-in-a-real-world-clinical-study/)でも、医師の監督下でテキストによる病歴聴取を行うワークフローが採用されている。今後注視すべきなのは、OSCEの総合スコアだけではなく、実際の患者での検証、集団横断的なキャリブレーション、遅延、エージェント間の状態整合性である。