推論系統
HeadWiseKV、アテンションヘッドごとに長文脈キャッシュを構成し、Qwen3.6-27Bの利用可能長を161Kへ拡張
HeadWiseKVは、すべてのアテンションヘッドに同一の履歴を保持させる方式を改め、各headの多段階ウィンドウをオフラインでキャリブレーションし、実際の物理KV residencyを削減する。論文では、モデルを固定したテストで最大成功コンテキスト長を114Kから161Kへ延長したが、公開リポジトリのさらに大きな数値は、特定の量子化方式と単一の4090Dを使用した結果である。