Declarative Attention、モデル自身がKV cacheの読み取り範囲を指定――長文コンテキストのデコードで参照トークンを3割超削減

長文コンテキストモデルのデコードでは、通常、トークンを1つ生成するたびにGPUメモリ上の巨大なKV cacheを読み取る必要がある。回答に関係する箇所が少数の段落だけであっても、検索コストはコンテキスト長に応じて増大する。KAISTとGoogle DeepMindの研究チームが提案したDeclarative Attention（DA）は、「どこを見るべきか」をモデルが出力できる制御プロトコルに変換し、コンテキスト全体を走査する別個の検索器を必要としない。

システムはあらかじめ入力を約2,000-token単位のアドレス可能なブロックに分割する。モデルは思考過程で`<global>`、`<focus>`、`<local>`のいずれかのタグを出力する。グローバルモードでは全ブロックを参照でき、フォーカスモードでは指定されたブロックのみを読み取る。ローカルモードでは元の長文を読み取らず、質問、固定命令、生成済みの内容だけを保持する。推論エンジンはタグをステートマシンで解析し、KV-cache block tableを動的に書き換えることで、既存のFlashAttention系カーネルが不要なブロックの読み込みを直接スキップできるようにする。この手法はモデルのfine-tuningを必要とせず、外部selectorが各ステップで実行するO(N)走査のコストも発生しない。

チームはGemma-4-31BとQwen-3.6-27Bを用い、15種類の長文コンテキストタスクでzero-shot評価を実施した。平均attended tokensはそれぞれ52.0%と31.1%減少した一方、精度は1.27ポイントと2.75ポイント低下した。roofline分析では、両モデルのデコード時間をベースラインのそれぞれ0.71倍と0.77倍に短縮できると推定されたが、これは完全なオンラインサービスにおける実測スループットではない。

エンジニアリング上の重要な問題は、モデルが必要な情報を安定して正直に示せるかどうかだ。小規模モデルではプロトコルに従う能力が明らかに低く、グローバルモードのステップが依然として総コストを支配する可能性もある。また、ブロックを誤って選択すると、根拠となる情報が直接参照不能になる。論文は現時点で公開実装を提供していない。今後は、実際のGPUレイテンシ、バッチ処理型サービスとの互換性、そして注意タグを対象に学習した場合に精度差を縮められるかどうかを見極める必要がある。