BenchMIRT、多次元項目反応理論でLLM評価を分解、安全性スコアへの推論能力の混入を明らかに

Allen Institute for AI（Ai2）は、LLMベンチマークの各問題を多次元項目反応理論（multidimensional item response theory、MIRT）で監査するBenchMIRTを公開した。一般的なランキングでは、すべての問題を単一の平均スコアに集約するため、モデルが安全上の理由で回答を拒否したのか、知識が不足していたのか、推論を誤ったのかを判別しにくい。これに対しBenchMIRTは、潜在的な能力次元ごとのモデルの強弱に加え、各問題の難易度と識別力を同時に推定する。

研究への入力には、100のオープンウェイトモデル、16種類のベンチマーク、3万4,000問超が含まれ、MMLU-Pro、GPQA、MATH、BBHのほか、HarmBench、StrongReject、WildJailbreak、BBQ、WMDP、XSTestも対象となった。研究者は各ベンチマークの分類を事前にシステムへ与えなかったが、それでもモデルは一般推論と安全行動という2つの主要な次元を繰り返し抽出した。これはデータ駆動型のキャリブレーション手法となる一方、あらゆる能力が本質的に2次元しかないことを意味するものではない。潜在次元は、入力するベンチマークの組み合わせによって変化する。

分析では、BBQは一般に社会的バイアスまたは安全性の評価に分類されるものの、そのスコアは一般推論能力とより強く連動していることが分かった。WMDPも主に推論次元に対応し、推論能力が高いほどスコアが低くなる可能性がある。これは同ベンチマークが、危険な知識の提供を拒否することを正解とみなしているためだ。HarmBenchの内部も単一のシグナルではない。一般的および文脈依存の有害な要求は安全性次元に寄る一方、著作権に関する問題は推論次元により近い。これは、エンジニアリングチームが安全性ベンチマーク一式の総合スコアを、単一の防御能力として直接解釈すべきではないことを意味する。

BenchMIRTは情報量に基づく問題選択にも対応する。チームによると、問題を約10%だけ残した場合でも、通常は完全な評価に近い能力プロファイルを得られる。また、モデルが未観測の問題に正解するかどうかを79%の精度で予測し、単純平均ベースラインの70%を上回った。ただし、無作為に留保した問題に対する総合ランキングを目標とした場合は、従来の平均スコアがわずかに優れていた。さらに重要なのは、サンプルとなったモデルがすべて2025年3月以前に公開されたものであり、この結論は新世代の推論モデルではまだ検証されていない点だ。問題選択ツールが逆用され、最も識別力の高い安全性問題を除去するために使われる可能性もある。