AI 評測與代理系統
KV cacheは「潜在思考」ではない:ミスマッチキャッシュが示す、マルチエージェントの性能向上はインターフェース効果にすぎない可能性
新たな研究は、ミスマッチ、ゼロ化、ランダム化したKV cacheを用いてマルチエージェントの潜在コミュニケーションを再検証し、キャッシュの除去による大幅な性能低下が、受信側による送信側固有の情報の利用を必ずしも証明しないことを明らかにした。一部の自然な評価設定では、ゼロ化によって正解率が14.7ポイント低下した一方、別の問題のキャッシュに置き換えた場合の低下はわずか0.4ポイントだった。

マルチエージェントシステムでは、テキストを介する際のtoken数とレイテンシーを削減するため、TransformerのKV cacheを直接受け渡す手法が使われ始めている。しかし、[新たな研究](https://arxiv.org/abs/2608.04893)は、「キャッシュがある方がない場合より優れている」という事実だけでは、エージェント間で有用な潜在思考が交換された証拠にはならないと指摘する。研究チームは、実際のキャッシュを、別の問題から取得したミスマッチキャッシュ、全要素がゼロのキャッシュ、統計量を一致させたランダムキャッシュに置き換え、インターフェースの存在、一般的な計算状態、問題固有の内容がそれぞれ果たす役割を切り分けて測定した。
受信モデルが、送信側の持つ解答関連情報を実際に欠いている場合、主要なQwen3-8B設定ではLatentMASのネイティブチャネルが100%を達成したのに対し、非公開情報を含まないキャッシュは23.4~25.2%にとどまった。同様の差は、3つのモデルファミリー、5つのチェックポイント、テキスト文書を用いた質問応答でも確認された。一方、受信側が単独で問題を解けるGSM8K、ARC-Challenge、MedQAの設定では、7つのQwen3実験セルすべてにおいて、正しく対応付けられたキャッシュとミスマッチキャッシュの差が、事前に設定された±2.8ポイントの同等性範囲内に収まった。MedQAではさらに、キャッシュのゼロ化で14.68ポイント低下したのに対し、ミスマッチキャッシュによる低下はわずか0.40ポイントだった。これは、効果の大部分が問題内容ではなく、適切に構成された計算状態に由来する可能性を示している。
同じ検証では、実装間の違いも明らかになった。[LatentMAS](https://github.com/Gen-Verse/LatentMAS)の完全なキャッシュ転送は、問題固有の効果について上限に近い結果を示した。KVCommの一部レイヤーのみを転送する方式による向上は約7.2~10.8ポイントにとどまり、C2Cの公開プロジェクターでは、安定した問題固有の内容転送は検出されなかった。エンジニアリング上、潜在コミュニケーションの評価にはミスマッチサンプルを含めるべきであり、単に「キャッシュあり/なし」のアブレーションだけで済ませるべきではない。制約として、外部システムはそれぞれ公開されている1種類の設定でしか検証されておらず、Mistralを用いたARCの一部結果はパース失敗の影響も受けている。プロジェクターを再学習した場合や、キャッシュを転送するレイヤー数を変更した場合には、結論が変わる可能性がある。