TriviaRoomQAが6言語の日常知識を評価、30のオープンモデルにポップカルチャーとニュース分野の体系的な知識欠落

INRIA Parisの研究者らは、人間が作成したトリビア問題を用いて、オープンウェイトモデルの日常知識、文化知識、ロングテール知識における性能を評価するTriviaRoomQAを提案した。データセットには、英語、フランス語、イタリア語、スペイン語、ドイツ語、オランダ語の各版を備えた3,300問の並行多肢選択問題と、別途5,340問のフランス語問題が含まれる。完全なセットは288のトピック、24の大分類、3段階の難易度に加え、時間および地理情報のタグを網羅しており、総合スコアしか示さない学術試験型ベンチマークよりも、知識の欠落箇所を特定するのに適している。

研究では、回答候補の対数尤度を用いて、欧州、アジア、北米の7B〜70B規模の30モデルを評価した。モデルは歴史、地理、数学などの百科事典的な問題では比較的高い性能を示した一方、著名人、音楽、映画、ニュースといった日常文化に関する問題では明確に遅れを取った。20B未満のモデルの正解率は0.35〜0.64、大規模モデルでは0.41〜0.72だった。パラメータ数を増やすと平均成績は向上したものの、言語間の不整合は解消されなかった。また、人間は通常、問題の難易度が上がるにつれて段階的に失点するのに対し、モデルは未知のトピックでは入門問題から専門家向け問題まで一貫して低い水準にとどまる場合があることも分かった。これは、問題が推論の深さの不足というより、知識領域全体の欠落に近いことを示している。

これは、多言語RAG、ローカル検索、地域別カスタマーサポートにとって特に重要だ。英語での評価に合格しても、中国語やその他の言語で質問した際に、モデルが同じ事実を取得できるとは限らない。エンジニアリング面では、並行問題のスコア差を利用して、tokenizer、学習コーパス、検索インデックス、プロンプト言語に起因するバイアスを検査できる。ただし、このベンチマークが対象とするのは多肢選択問題とオープンウェイトモデルのみであり、6言語セットも欧州言語に限られるため、中国語での生成、ツールエージェント、クローズドなフロンティアモデルへ直接一般化することはできない。次の段階では、中国語を含む非ラテン文字圏の言語を追加し、純粋なパラメトリック記憶、RAG、リアルタイム検索のどれが実際に格差を縮小できるのかを比較すべきだ。