100万tokenは利用可能なメモリを意味しない：実測で少数のretrieval headsが長文コンテキストのボトルネックと判明

モデルが100万tokenへの対応をうたっていても、コンテキスト全体を確実に利用できるとは限らない。開発者のDavid Davidichは、公開準備中の27Bハイブリッドモデルを使って推論時のテストを実施した。このモデルは48層のgated delta recurrent layerと、GQAを採用した16層のfull attentionで構成される。元の学習コンテキスト長は262,144 tokenで、100万tokenへの対応は学習不要の拡張によるものだ。

テストでは、一意のアクセスコードをロシア語の長文テキストに埋め込んだ。約33,000 token、類似レコード14件の条件では再取得率が92.9%だったが、250,000 tokenでは64.3%に低下し、1,005,000 tokenではわずか21.4%となった。著者はこれを極値競争によって説明している。ターゲットtokenは、コンテキストの増加に伴って増える多数の干渉位置に勝つ必要があるため、logit marginのごく小さな変化も増幅されるという。

直感的な4つのアプローチはいずれも機能しなかった。100万tokenでのYaRNのテスト結果は0/14だった。RoPE位置の一部を圧縮または固定しても、得られたのは散発的なヒットにすぎなかった。長文コンテキスト向けのattention temperatureを復元しても結果は改善しなかった。3-bit KV cacheをFP8に置き換えると、40件のテストで再取得率は60%から70%に上昇したものの、対応のある検定ではp=0.34にとどまり、量子化ノイズが主因だと証明するには不十分だった。

より示唆的な結果は、内部回路の分析から得られた。384個のattention headのうち、18個が検索質量の半分を担い、さらに検索の約4分の3が同一のGQA KV groupに集中していた。これは、retrieval headsが5%未満だとする既存研究とも整合する。また、次の一手を「cache全体の精度向上」から、少数のprojectionを対象とするadapterの学習へと絞り込む結果でもある。

エンジニアリングチームは、これが依然として単一の未公開モデルを対象とした少数の人工的なneedleテストであり、コードや重み、独立した再現結果が存在しない点に注意すべきだ。この結果を100万token対応モデル全般へ直接一般化することはできない。今後とりわけ注目すべきなのは、モデル公開後に行われるRULER、長文書推論、実際のコードベースを用いたテスト、そして局所的なadapterによって評価形状を汚染することなく検索能力を回復できるかどうかである。