FinMMEval、多言語金融QAの非公開テスト結果を発表：選択式はほぼ満点、短答式の首位はわずか31.18%

FinMMEval 2026は7月22日、Task 1とTask 2の技術報告書および最終ランキングを公開し、対照的な結果を示す金融AIのストレステストを提示した。Task 1は英語、中国語、アラビア語、ヒンディー語による金融分野の選択式問題で、各言語に200問の非公開テストが用意された。最高正解率はヒンディー語の92%から、英語とアラビア語の97.5%までとなった。参加システムは、検索またはFAISSによる検索、言語ルーティング、選択肢の直接スコアリング、self-consistency sampling、信頼度チェック、複数モデルによる検証などを組み合わせていた。

Task 2では質問を英語とし、根拠となる情報を英語、中国語、日本語、スペイン語、ギリシャ語の財務報告書やニュースに分散させた。256問の非公開テストでは簡潔な回答の出力が求められ、首位のCalibrated Signalsでさえmacro ROUGE-1 F1は31.18%にとどまった。上位4チームの差はわずか0.79ポイントだった。参加システムのアーキテクチャには、固定プロンプト、BM25、レイアウトを考慮したチャンク分割から、LangGraph、Weaviate、リランキング、Pythonによる数値計算ツール、judging agentまで幅広い手法が用いられたが、他を圧倒する共通の解法は確立されなかった。

この2つの結果の隔たりは、エンジニアリングチームが注目すべき点だ。選択式問題では回答空間がラベルに限定されるため、出力検証と選択肢の直接スコアリングによって、多くのフォーマットエラーを排除できる。一方、短答式問題では、言語横断検索、時点とエンティティの整合、財務計算、回答の圧縮もこなさなければならず、いずれかの段階で生じた誤りが最終的な文章まで伝播する。これは、より複雑なagentic RAGが、決定論的なプロンプトと制約付きの単発リトライを必ずしも上回らない理由も説明している。

ただし、31.18%を事実の正解率として直接解釈することはできない。ROUGE-1は単一の参照回答との語彙の重なりを測定するため、正しい同義表現を不当に低く評価する可能性がある一方、キーワードを含んでいても推論が誤っている回答を高く評価する可能性もある。今後は、根拠の引用、数値の許容誤差、エンティティと日付の整合性に加え、人手または実行可能な方法による検証が一層重要になる。中国語金融RAGの開発チームにとって、今回の結果は、単一の総合スコアを根拠にシステムが高リスクな意思決定へ投入可能だと主張するためではなく、検索、計算、生成の各段階における失敗を分析するために活用するのが適切だ。