CentaurBench：単独での問題解決に最も優れたモデルが、別のエージェントの指導にも最も優れているとは限らない

CentaurBenchは、しばしば混同される2つの能力を切り分けて測定した。「自動化」モードでは、候補モデルが完成した成果物を直接提出する。「支援」モードでは、固定されたGPT-3.5-Turboの実行エージェントに対し、要件チェック、実行計画、自己レビュー用チェックリストのみを提供でき、最終回答を代筆することは認められない。7つのタスクは、旅行・食事計画、天然ガス市場分析、オペレーションズ・リサーチ、税務申告の確認、カウンセリング対応、教育設計を対象としている。

研究では10種類のモデルをテストし、各タスクと各モードについて10回の独立した実行を行った。出力は4種類のLLMにより、タスク固有のrubricを用いた匿名の一対比較で評価された。同一ファミリーへの偏りを抑えるため、評価モデルは自身のモデルファミリーによる回答を判定できないようにした。自動化ランキングと支援ランキングの全体的な相関係数は約0.48にとどまり、タスク別では旅行計画の-0.04から税務申告の0.85まで幅があった。Claude Opus 4.8は、市場分析に直接回答した場合の平均順位が2.05位だったが、指導役になると8.15位まで下落した。さらに、自動化モードの首位モデルは、7つの支援タスクのうち5つで敗れた。

さらに注目すべきなのは、指導なしのGPT-3.5-Turboが3つのタスクですべての支援ありバージョンを上回り、平均順位でもGPT-5-miniに次ぐ2位だったことだ。これは、過度に複雑で実行エージェントの能力に適合していない計画が、効果的な役割分担につながるどころか、認知的負荷やコンテキスト負荷を増大させる可能性を示している。エンジニアリングチームが「強力なモデルに小型モデルを指導させる」ことでコストを削減しようとする場合、一般的な能力ベンチマークをそのまま流用すべきではない。実行モデル、ツール、成果物の形式を固定したうえで、指導によって生じる限界的な改善効果を別途測定する必要がある。

ただし、この結果を人間とAIの協働へ直接一般化することはできない。実験は単一ターンのテキスト指導、7つのタスク、単一のGPT-3.5-Turbo実行エージェントに限定されており、主要ランキングもLLM評価者に依存している。同じ勝者について複数の評価者が一致した割合も71.0％にすぎず、支援モードではさらに67.8％まで低下した。今後は人間の作業者、反復的な確認、ツール操作を取り入れ、より多様な支援形式によってランキングが変化するかを検証すべきだ。