同一モデルがツール呼び出し予測器を兼任、Qwen 4Bの次ステップ的中率が17ポイント超向上

エージェントのレイテンシーは、モデル生成だけに起因するものではない。検索、データベース、コード実行環境、サブエージェントにより、ワークフロー全体がネットワークやサービスからの応答待ちになることも多い。カリフォルニア大学サンタバーバラ校とLinkedInのチームは「自己投機型エージェント」を提案し、モデルが現在の推論を終える前に、次の構造化ツール呼び出しを予測して先行実行することを試みた。ツール名とパラメーターが、エージェントが後で実際に生成する呼び出しと完全に一致すれば、システムはキャッシュ済みの結果をそのまま採用できる。

従来手法では通常、小型のドラフトモデルを別途デプロイする。しかし実験では、同じ系列の小型モデルであっても、ターゲットとなるエージェントの意思決定分布を必ずしも理解できないことが示された。Qwen3-4BでMuSiQueを実行した例では、0.6Bおよび1.7BのドラフトモデルのHit@1はそれぞれ4.3と14.7にとどまった一方、4Bモデルが自身の次ステップを予測した場合は25.3に達した。外部モデルには追加の重みと2つ目のKV cacheも必要になる。論文によると、単一のH100とSGLangを用いたテストで、Qwen3-0.6Bによるドラフト方式は10.71GBを使用し、自己投機方式の8.70GBを上回った。

訓練時には、同じモデルをエージェントモードと投機モードの間で交互に更新する。投機のターゲットには、古い軌跡ではなく、現在のpolicyが直前に生成したrolloutを使用する。教師ありウォームアップや、モード切り替え時のoptimizerリセットなどの安定化策を加えた結果、Qwen3-4Bの次回呼び出しに対する平均Hit@1は44.1から61.2へ、Qwen3.5-4Bでは48.9から66.3へ向上し、検索QAおよびτ-benchのタスク成功率はおおむね維持された。

この設計の工学的な価値は、2つ目のモデルを常駐させる必要がなく、共有prefixから分岐してKV cacheを再利用できる点にある。ただし、Hit@1は実際のレイテンシー短縮率と同じではない。誤った投機は外部APIや計算資源を浪費し、不可逆な副作用を引き起こす可能性さえある。また論文では、既製の予測器を各ドメイン50件のクエリのみで分析しており、キャンセル、冪等性、コスト管理を備えた並列サービスの結果はまだ報告されていない。今後は、コードとモデルの重みが公開されるかどうかに加え、低速、高コスト、またはstatefulなツールでどの程度の純便益が得られるかを注視する必要がある。