AI 推論系統
SemPIC、文書を並べ替え可能なKVキャッシュへ事前コンパイル――長文コンテキストタスクの平均F1は完全な再計算に迫る
SemPICは独立したWriterモデルを用い、入力位置に依存しない文書KVをオフライン生成する一方、Readerでは元のモデルと標準キャッシュインターフェースを維持する。3モデル・4タスクの平均micro-F1は既存手法の0.53から0.60へ向上したが、エンドツーエンドのレイテンシ、キャッシュ容量、コードはまだ公開されていない。
長文コンテキストを扱うRAGやエージェントは、同じ文書群を繰り返し読み込む一方で、クエリや会話履歴、文書の順序は変化することが多い。一般的なprefix cacheで再利用できるのは、完全に同一のprefixだけだ。各文書のKVを個別に計算して任意に連結すると、位置エンコーディングと後続コンテキストの欠如によって、注意分布にずれが生じる。
SemPICは、キャッシュの生成と利用をWriter／Readerに分離する。WriterはLoRAを追加したモデルで、behavior distillationを通じて、文書を各層のKVへオフラインでコンパイルする方法を学習する。Readerは元の事前学習済みデコーダーをそのまま維持し、キャッシュヒット時に新たな変換層を追加する必要がない。学習目標は局所的なKV値を近似するだけでなく、Readerが事前コンパイル済みの状態を利用した際に、完全な再計算と同じ出力挙動を再現できるようにすることだ。研究ではさらに、キャッシュテンソルを通過する勾配を保持しながら、学習時のピークメモリ使用量を削減するKV Gradient Checkpointingも提案している。
3モデルと4つの長文コンテキストタスクにおいて、SemPICの平均micro-F1は0.60で、KV Packetの0.53を上回り、完全な再計算の0.62との差は2ポイントにまで縮まった。これは、並べ替え可能な文書キャッシュがオンライン推論の中核を変更せずに実現でき、既存のserving stackへ比較的容易に組み込める可能性を示している。固定された知識ベースを繰り返し参照するエージェントにとって、特に魅力的だ。
ただし、現時点で論文が主に実証しているのは品質面での実現可能性であり、要旨にはキャッシュヒット率別のエンドツーエンドスループット、time to first token、オフラインコンパイルのコスト、文書ごとのストレージ負担が示されていない。Writerもモデルごとに再学習が必要になる可能性がある。エンジニアリングチームは今後、公開実装、モデル間の汎化性能、さらにキャッシュ無効化や知識ベース更新時の総コストに注目すべきであり、F1だけを比較するべきではない。