AI 評測與多代理系統
28モデルへの17万票が示す：エージェント数を増やしても共通エラーは解消できない
新たな研究が4種類の二値スクリーニングタスクで28の言語モデルを測定した結果、モデルは同じサンプルで一斉に誤る傾向があり、多数決には委員会を拡大しても解消できない誤差の下限が残ることが分かった。また、最適な通過閾値は正例と負例それぞれの誤差相関に左右され、固定的な過半数ルールが必ずしも最も安全とは限らないことも示された。
マルチエージェントシステムでは、単一モデルの不安定性を抑えるために「多数決」がよく用いられる。しかし、この前提が成り立つのは、各エージェントの誤りが概ね独立している場合に限られる。7月27日に提出された新たな研究では、28の言語モデルを4種類の二値スクリーニングベンチマークで評価し、主要プロトコルにおける174,384票を収集した。さらに、20のオープンウェイトモデルと8つのフロンティアAPIモデルを対象とする、約27,000件の推論プロトコルデータも公開した。研究者らは、良いケースと悪いケースについて、それぞれのヒット率とモデル間の潜在相関を推定したうえで、奇数番号の問題でパラメータをフィッティングし、偶数番号の問題における委員会の損失を予測した。
結果から、モデルの誤りは一様に共起するわけではないことが分かった。ある種類のケースではモデルが高い同期性をもって失敗する一方、別の種類では相互補完性が比較的高かった。そのため、単純に過半数のエージェントの同意を求めると、見逃しまたは誤ブロックのリスクを増幅させる可能性がある。精度0.8の基準エージェントを例にすると、研究で測定されたモデルファミリー間の相関は約0.24～0.85だった。委員会の規模を無限大に近づけても、多数決では単一エージェントの誤りの21%～90%が残る可能性がある。異なる種類の誤りに伴うコストが非対称であれば、最適な `k-of-n` 閾値も過半数から外れる。
デプロイ担当チームにとって重要なのは、単にモデル数や反復サンプリング数を増やすことではなく、まず代表的なデータ上で「ケース単位の共通失敗」を推定することだ。同一の基盤モデルからの複数回のサンプリング、類似した学習データ、同一のプロンプトテンプレートは、いずれも見せかけの多様性をもたらしかねない。実運用では、ホールドアウトセットを使って閾値を選択し、タスクの状態ごとに相関行列と誤りのコストを個別に計算すべきである。
ただし、この研究は二値決定に帰着できるスクリーニングタスクに焦点を当て、Gaussian copulaによるモデリングを採用している。その結論を、オープンエンドなコード変更、ツール実行、エージェント間の討論へ直接一般化することはまだできない。今後注目すべき点は、真に異質なツール、検索ソース、モデルの学習ファミリーを組み合わせることで、この相関誤差の下限を実際に引き下げられるかどうかである。