Oilbird、検証モデルの隠れ状態を再利用してセマンティックドラフトを生成、API-Bankで自己回帰デコーディング比4.4倍の高速化

投機的デコーディングは、まず低コストな手法で複数の候補tokenを生成し、それらを元のモデルで一括検証することで、大規模モデルをtokenごとに実行するコストを削減する。学習不要の手法では通常、現在または過去のリクエストから続きを集めたプールを構築し、コンテキストの末尾との完全一致によって再利用可能な断片を検索する。この設計ではドラフトモデルを別途学習する必要がない一方、ツール呼び出しに含まれる注文番号、タイムスタンプ、APIパラメータなどの変化に弱い。正しい続きがすでにプール内に存在していても、その直前のtokenが1つ異なるだけで、文字列インデックスでは到達できない場合がある。

Oilbirdは、この問題を「候補不足」ではなく「アドレッシング不足」として再定義する。研究チームは10種類のベンチマークを分析し、ツール呼び出しが最も多いテストでは、最も強力な完全一致ベースのドラフターが見落とした候補の約半数が、実際にはすでにプール内に存在していたと報告している。新手法は既存の続きのプールを維持しつつ、検証モデルが確定済みtokenに対して生成した隠れ状態をセマンティックキーとして利用する。これらの状態は検証処理で元々計算されるため、独立したエンコーダーを追加実行する必要はない。その後、セマンティック候補を既存の語彙ドラフトツリーに統合し、2種類のインデックスから得られた候補をまとめて検証する。

同一のプールサイズとドラフト予算という条件で、論文によれば、Oilbirdを既存の3種類のドラフターに組み込むことで、平均受理長が24%～29%向上した。API-Bankでは標準的な自己回帰デコーディングの4.4倍の速度を達成し、著者らのテストフレームワークにおける最も強力な学習不要ベースラインの3.9倍や、EAGLE-3の2.0倍を上回った。技術的な価値は、エージェントやAPIサービスに見られる反復構造との相性が特に良く、補助モデルの学習を必要としない点にある。

ただし、現時点の数値は著者らによる単一の実験フレームワークから得られたものであり、本番環境におけるエンドツーエンドのレイテンシへ直接換算することはできない。エンジニアリングチームは今後、コードが公開されるかどうか、セマンティックインデックスのメモリ使用量と近傍検索コスト、さらにマルチテナント環境でのキャッシュ分離、長いコンテキスト、反復率の低いトラフィックにおいても正味の効果が得られるかを注視すべきだ。