DFOT、導出センサー値に対するLLMの過信を定量化——クロスモーダル蒸留で訂正率が最大6.69ポイント向上

研究チームは、derived-feature over-trust（DFOT）を提案した。これは、RAGやエージェントパイプラインで見過ごされがちな問題を扱うものだ。上流モデルが算出した心拍数、リスクスコア、分類ラベルなどは、LLMのプロンプトに入力されると直接観測された事実と同じように見えることが多い。そのためモデルは、適用範囲や個々のケースにおける信頼性を考慮しなくなる。

実験では、同期取得したPPGとLead-II ECGを使用した。D1では、PPGから導出された「規則的な心調律」をオフラインECGの結果と意図的に矛盾させ、LLMが検証せずに信頼するかを調べた。D2では、両方の信号が規則的な心調律を支持する一方、重度の心房細動の既往歴を追加し、背景情報によってモデルが誤誘導されるかを検証した。このフレームワークは、COTR、CIR、CRR、ESRM、UHRを用いて、過信、文脈上の誤り、訂正効果、症例固有のエビデンス特異性、および不要な検証によって生じる損害をそれぞれ測定する。

チームは、MIMIC-IIIの対応する波形データから、1,275人の患者を対象とする4分間の記録5万件を構築した。訓練セット、検証セット、187人からなる固定テストセットの患者は重複していない。K2モデルの訓練では、ECG教師モデルの心調律logitsをPPG信頼度モデルへ蒸留したが、デプロイ時にECGも教師モデルの出力もLLMには渡されない。信頼度ラベルのみで訓練したB2と比較すると、K2は固定テストでAUROCが0.025向上した。D1とD2における訂正率およびエビデンス特異性は1.82～6.69パーセントポイント改善し、4つの信頼区間はいずれもゼロをまたがなかった。

この研究の価値は医療事例にとどまらず、OCR confidence、センサーフュージョン、モデル生成特徴量にも適用できるインターフェース評価手法を提供している点にある。ただし、UHRは依然として0.67ポイント増加しており、いわゆる2パーセントポイントのエンジニアリング上の閾値は臨床検証基準ではない。公開リポジトリに含まれるのはコード、プロンプト、統計処理だけで、患者データ、モデルの重み、過去の出力、一部の元プロンプトは欠けている。エンジニアリングチームは、信頼度を示すテキストを高リスクな意思決定へ直接組み込む前に、データガバナンスとキャリブレーションのプロセスを再現すべきだ。