PatientAgentBench、1,200件のツール対話で医療エージェントを評価――最強モデルでもトリアージ合格率は88％

Amazon Scienceの研究チームは7月28日、医療モデルの評価が静的な質疑応答からエージェント型ワークフローへ移行するなかで生じた評価上の空白を埋めるため、PatientAgentBenchを公開した。このフレームワークは、モデルに単一の医学問題への回答を求めるものではない。基盤モデルをLangGraph ReActエージェントとして構成し、合成診療記録を読み取らせ、模擬患者と複数ターンの対話を行わせるとともに、予約、処方、遠隔診療、個人情報などに関する、状態を持つ15種類のツールを操作させる。

各トラジェクトリは複数モデルで構成されるLLM juryが、臨床安全性、ワークフローの正確性、トリアージの品質、臨床的有用性、タスク完遂度、対話品質という6つの観点から採点する。チームは、臨床業務に従事する医療従事者に共通サンプルのレビューを依頼し、juryと専門家の隣接評価区分での一致率が79～93％だったと報告した。ただし、これは評価がおおむね近いことを示すにすぎず、自動評価者のバイアスを排除するものではない。

評価対象となった10モデルの1,200シナリオにおける差は、主にトリアージによって生じた。最も弱いモデルのトリアージ合格率は32％で、最強の構成でも88％にとどまった。よく見られた誤りには、臨床スクリーニングを完了する前に事務的な要求を実行すること、検証されていないツール出力を信用すること、緊急事態で危機対応リソースの案内を欠くことなどが含まれる。論文によると、フロンティアモデルでも臨床安全性とワークフローの正確性について約1～3％の失敗例があり、総合スコアの最高値は5点満点中4.25点だった。

コードベースはすでに公開されており、設定可能なseed distributionから合成シナリオをリアルタイムで生成できる。これにより、固定された正解が記憶されるリスクを軽減する。また、Bedrock、OpenAI互換エンドポイント、Anthropic互換エンドポイントをサポートする。エンジニアリングチームは、評価モデルと評価対象モデルが同一系統かどうか、合成患者が現実の集団や言語の差異を網羅できるか、ツールのサンドボックスと実際の医療システムとの間に権限、レイテンシー、失敗セマンティクスのどのような差があるかに注意すべきだ。著者らも、これは研究用ベンチマークであり、臨床認証や導入許可ではないと明言している。