IOL-AI、未公開の言語学オリンピック問題で推論能力を評価：14Bモデルがデコード手順によりベースラインスコアを2倍超に向上

8月18日に公開された[IOL-AI Challengeの論文](https://arxiv.org/abs/2608.18011)は、2026年国際言語学オリンピック（IOL）個人戦の問題を非公開テストセットとして再構成した。この種の問題では、数学問題のように規則があらかじめ提示されるわけではない。モデルは未知の言語について、少数の対訳データから文法、語彙、数体系などを自ら導き出したうえで、翻訳、対応付け、訂正の問題に答えなければならない。そのため、「まず規則を発見し、その後に推論する」能力をより適切に測定できる。

公開チャレンジには46チームから計731件の提出があり、そのうち80.7%が正常に実行された。各実行で使用できるのはT4 GPU 1基のみで、制限時間は30分、インターネット接続も禁止された。スコアには、重み付き完全一致率とchrFの幾何平均が用いられた。上位10チームのうち9チームが、量子化されたQwen2.5-14BまたはQwen3-14Bを採用。優勝チームはQwen2.5-14B-AWQで19.79を記録し、主催者による同一モデルのベースライン9.40を2倍以上に引き上げた。

差を生んだ主因は、パラメータ数ではなく推論パイプラインだった。チーム内の比較実験では、self-consistency votingによって平均2.08ポイント、再試行またはフォーマット修正によって1.40ポイント向上した。一方、chain-of-thoughtプロンプティングとJSON形式の構造化出力は、それぞれ1.55ポイントと4.66ポイントの低下を招いた。上位の手法は主にgreedy decodingを採用し、残り時間に応じてtokenを割り当てるとともに、タイムアウトで提出全体が無効になるのを防ぐため、問題ごとに結果を書き込んでいた。

研究ではさらに、IOLの審査員が5つのシステムを匿名で評価した。Claude Opus 4.8は同大会の金メダル基準である70点を上回り、人間の参加者に換算すると4位相当だった。Gemini 3.6 Flashは銀メダル水準に到達した。一方、計算資源に制約のある2つのオープンな提出は、参加者の下位5%に位置した。自動評価の順位は人手評価と一致したものの、性能の低いシステムを約12～14点過大評価し、高性能モデルが文章で記述した正しい分析も評価に反映できなかった。

エンジニアリングの観点では、出力プロトコルとデコード戦略だけで、制約の厳しい環境における結果を左右し得る点が注目に値する。ただし、テスト問題数が少ないため、確率的デコードによるばらつきは大きい可能性がある。また、主催者は最先端モデルに対して事後的なフォーマット修正を加えたこともある。そのため、小さなスコア差を安定した能力差と解釈すべきではない。