偽のプロ向けダッシュボードでLLMエージェントが賭けに出やすく、12モデルの行動コミット率は36.8％に上昇

12の最先端モデルを対象とした研究が、「モデルは自分が知らないことを認識しているか」と「それでもモデルは行動するか」を別々の問題として検証した。著者は、既存の情報からは予測不可能であることを証明できる金融、スポーツ、天気などの問題を設計し、そこへプロ向けの指標ダッシュボードを段階的に追加した。問題だけを提示した場合、エージェントが方向性のあるコミットメントを示した割合は6.5％だったが、エビデンスらしい外観を徐々に強めると54.0％まで上昇した。

重要な対照実験では、問題そのものだけを実在のものとし、ダッシュボードの内容をすべて捏造した。それでもコミット率は24.5％から36.8％へ上昇し、実際の市場データを使用した場合の37.6％と統計的に区別できなかった。これは、行動を引き起こしているのが情報量ではなく、数値、グラフ、プロ仕様のインターフェースによる権威的な見せ方である可能性を示している。この問題は単なる能力不足とも異なる。同じダッシュボードを組み合わせた回答可能な問題では、ほぼすべてのモデルが正答した一方、モデルが自己申告した確率のAUROCはわずか0.346で、予測方向さえ逆転していた。

研究ではさらに、問題が「原理的に知り得ない」ものかどうかをモデルに先に判断させた。モデルは90％の確率で正しく識別し、この手順を明示的に完了させると、その後も賭けに出た割合はわずか0.4％となった。これにより、障害箇所はbeliefとactionの間にあるゲートだと特定された。著者は、サイコロ、コイン、瓶、タイマーなどを用いた540件の合成事例で3Bモデルをファインチューニングし、元のテストにおけるコミット率をゼロまで下げ、その効果が未学習の3領域にも転移することを確認した。

ただし、この修正はインターフェースへの依存度が高い。モデルが回答前に推論できる形式では有効だったが、固定フィールドや単一の選択肢を直接出力するよう求めると、再び自信を持って誤る可能性があった。また、この研究の著者は1人だけであり、一部のモデルでは解析不能な出力も大量に発生した。金融、医療、運用保守のエージェントをデプロイする際、エンジニアは「行動すべきかどうか」を独立してテストでき、拒否も可能なポリシーレイヤーとして実装すべきだ。回答確率をキャリブレーションするだけでなく、偽造ダッシュボード、構造化出力、ツールデータの汚染についてもテストする必要がある。