Artificial Analysis Index 4.2、非公開テストの重みを40%に倍増し、飽和したGPQA Diamondを除外

Artificial Analysisは9月4日、Intelligence Indexをバージョン4.2へ更新し、総合スコアが測定する能力を再定義した。新版ではAA-Briefcaseを追加。モデルは、業界の専門家が設計した、相互依存する複数のタスクと数千件のソースファイルを含む長期的な知識労働プロジェクトに取り組む必要があり、その成果はルーブリック評価とペアワイズ比較の両方で採点される。最終回答だけでなく、検証可能なタスクの達成度、分析品質、プレゼンテーション品質も評価する。

もう一つの新規テストであるGDP.pdfは、単一ターンでの専門文書推論に焦点を当てる。問題は10分野、100件のPDF、計4,592ページにまたがり、本文、表、グラフ、脚注、除外条件を統合して推論することをモデルに求める。回答は専門家が作成した1,275項目の原子的な評価基準に基づいて採点され、関連する全基準を満たした場合にのみ、主要指標であるAll-pass Rateに算入される。一方、GPQA Diamondは最先端モデルのスコアが次第に飽和してきたため、Indexから除外された。AA-LCRの解答キーと採点プロンプト、SciCodeの実行サンドボックス、一部のEloサンプリングおよびアンカリング手法も同時に調整された。

方法論上、最も影響が大きい変更は、非公開のホールドアウトテストが総合スコアに占める重みを20%から40%へ引き上げたことだ。対象にはAA-Briefcase、AA-Omniscience、CritPtの解答が含まれる。これにより、モデルプロバイダーが公開済みの問題に直接合わせて学習やチューニングを行うインセンティブを抑え、ランキングを未知のワークロードにより近いものにできる。その代償として、外部研究者は問題分布、データ汚染、評価者誤差を独立して検証できない。言い換えれば、ベンチマーク対策への耐性は高まるが、透明性と再現性は低下する。

再集計後の総合ランキングではClaude Fable 5.1が首位、GPT-6 Astraが2位となった。後者はGDP.pdfで33.2%を記録し、GPT-5.6 Solの28.2%とFable 5.1の26.2%を上回った。ただし、問題セット、重み、評価器のすべてが変更されているため、これらの順位やスコアを旧版と時系列で直接比較すべきではない。単一のIndexスコアをゲートとして使用する調達システムやルーティングシステムは、バージョンを固定し、項目別の指標も保持する必要がある。今後の焦点は、v5で非公開テストの比率がさらに引き上げられるか、そしてテスト運営側が問題のローテーション、漏洩検知、バージョン間キャリブレーションについてどのように説明するかだ。