FinRank、6,021件の紛らわしいパッセージで金融RAGを評価、7B埋め込みモデルのRecall@10はわずか44.8%

FinRankは、金融QAの評価軸を「回答が正しいか」から「回答が正しい開示情報に基づいているか」へ移した。同じ企業が異なる四半期に類似した数値を繰り返し報告する場合があるほか、異なる企業がほぼ同一の会計用語やリスク記述を使用することもある。モデルがもっともらしい回答を出力しても、誤った年度、フォーム、または法人を引用している可能性がある。このため、新しいベンチマークでは検索、リランキング、困難な負例の識別を独立したタスクに分け、証拠ソースの取り違えが最終回答によって覆い隠されないようにしている。

公開データには、米国企業22社が2024年から2025年に提出した10-Kおよび10-Qを基に人手で作成された1,185件のQAが含まれ、製薬、石油・ガス、自動車の各業界をカバーしている。各データには参照回答、平均1.96件の支持パッセージ、同一文書、同一企業の別期間、または同業他社の文書から選ばれた負例が付属し、困難な負例は合計6,021件に上る。グローバル検索用コーパスは、重複排除された支持または妨害パッセージ5,230件で構成されており、SEC文書の完全なコーパスではない。したがって、この結果が測定するのは制御されたパッセージランキングであり、エンドツーエンドの文書取得能力ではない。

ベースライン結果は、埋め込みモデルを大規模化してもソースの混同が自動的に解消されるわけではないことを示している。実験で最高性能を示した7Bの指示チューニング済み埋め込みモデルでも、統合コーパスにおけるRecall@10は44.8%にとどまった。10億パラメータ未満のエンコーダーは、最高でもBM25を3.5ポイント上回るだけで、金融分野に適応させたモデルは逆にBM25を9.7ポイント下回った。ランダムな負例を人手で選定した紛らわしい負例に置き換えると、各手法のペアワイズ識別精度は13.0～20.5ポイント低下した。これは、既存のRAGスコアの多くが、排除しやすい妨害コンテンツの恩恵を受けていたことを示している。

リポジトリでは、JSONL、固定データ分割、バリデーター、ベースラインコード、追跡可能な修正履歴が提供されており、ハイブリッド検索、cross-encoderによるリランキング、metadata制約付きのクエリプランニングのテストに適している。ただし、442件の負例は別の問題の支持パッセージとテキストが完全に同一であり、ユーザーはタグに基づいて除外するかどうかを判断する必要がある。また、各データの主要アノテーターは1人のみで、正式なアノテーター間一致度分析も行われていない。データにはCC BY-NC 4.0が適用されるため、商用金融システムが無制限に利用可能なトレーニングセットとして直接扱うことはできない。