StateBridge、閉形式アライメントでエージェント間の隠れ状態を伝送――26組のテスト中22組で単独または同率首位

マルチエージェントLLMでは通常、中間推論をテキストとして書き出し、次のエージェントへ渡す。この方法では、連続的な隠れ状態が離散的なtokenへ圧縮され、受信側はtoken embeddingを再取得することしかできない。StateBridgeは代わりに、送信側がメッセージを生成する際の最終層のhidden statesを抽出し、対応するtokenのembeddingを参照として、センタリング、白色化、直交Procrustesアライメント、ノルム較正、vocabulary anchoringを実施する。その後、`inputs_embeds`を通じて連続的なprefixとして次のエージェントへ注入する。直交マッピングは状態間の距離と角度を保持し、モデルやタスクごとにprojectorを再学習する必要もなくす。

著者らは、Planner、Critic、Refiner、Judgerからなる4エージェントのパイプラインでQwen3-4B、Qwen3-8B、Qwen3-32B、OLMo3-7B-Thinkを評価し、GPQA、MedQA、AIME、GSM8K、HumanEval+など8つのベンチマークを対象とした。StateBridgeは26のモデル―タスク構成のうち22構成で単独または同率の最高成績を収めた。4つのモデル設定すべてで、平均スコアが最強のテキストまたはKV-cacheベースラインを2.4～2.9ポイント上回り、Qwen3-8BのGPQAでは7.0ポイント向上した。OLMo3では、KV cacheを層ごとに注入するLatentMASの平均が55.1%にとどまったのに対し、StateBridgeは76.7%を記録した。これは、共通の入力埋め込みインターフェースのみを利用する手法のほうが、Transformerの内部構造への依存度が低いことを示している。

ただし、これは汎用的なクロスモデル・エージェントプロトコルではない。実験では、すべてのエージェントが同一の重みを共有すること、prefix長が固定されていることを前提としており、一部のGSM8K構成では逆に性能が低下した。また、評価にはtemperature 0.6の確率的デコーディングが使われている。現時点の結果は主に著者らによる単一の実装に基づいており、独立した再現検証はまだ不足している。エンジニアリング面では今後、タスク正解率だけでなく、異種モデル、バッチ処理型の推論サービス、KV cache管理、エンドツーエンドのレイテンシーに及ぼす影響も検証する必要がある。