程式代理／推論最佳化
SWE-Pruner Pro、コーディングモデルの隠れ状態を直接読み取り、エージェントのトークンを最大39％削減
SWE-Pruner Proは独立した分類器の呼び出しを廃止し、軽量な予測ヘッドを使ってコーディングエージェントの内部表現から、ツール出力の各行を保持すべきか判断する。2つのオープンMoEモデルと4つのマルチターン・ベンチマークでトークン削減を達成したが、推論サーバーの改修が必要で、一部の品質向上については今後の再現検証が待たれる。
上海交通大学と抖音のチームは、コーディングエージェントがファイルの読み取り、コード検索、コマンド実行を繰り返すことで蓄積する大量のコンテキストに対処するSWE-Pruner Proを提案した。従来のSWE-Prunerは追加の分類モデルを必要とし、さらにエージェントが各ターンでターゲットプロンプトを生成する必要があった。新手法は、メインモデルの通常のprefillですでに生成されている最終層の隠れ状態を利用し、各行の末尾に小型の予測ヘッドを接続して、keepまたはpruneを直接出力する。また、ツール出力の行数をエンコードするlength-aware embeddingを追加し、保持サンプルと削除サンプルの不均衡にはbalanced focal lossで対処する。
研究では、MiMo-V2-FlashとQwen3-Coder-Nextという2つのオープンMoEモデルを用い、SWE-QA、SWE-QA-Pro、Oolong、SWE-Bench Verifiedのマルチターン・タスクで評価した。著者らの報告によると、prompt tokenとcompletion tokenの合計は最大39％減少した。さらに、MiMo-V2-FlashのSWE-Bench Verifiedにおける問題解決率は3.8ポイント向上し、Oolongの精度も2.2ポイント上昇した。著者らは、無関係なツール出力の削除はコストを抑えるだけでなく、古い情報が後続の推論に及ぼす干渉も軽減できると説明している。
これは、任意のAPIの前段に配置できるテキスト圧縮器ではない。予測ヘッドはモデル内部のactivationにアクセスする必要があり、実装には改修版SGLangが使われている。そのため、クローズドモデルのサービスや、標準のOpenAI互換エンドポイントしか提供しないデプロイメントでは直接採用できない。論文の試算では、サーバー内の予測ヘッドにより、エージェントの軌跡全体のwall-clock timeが約15％増加する。これを短縮されたコンテキストによって相殺できるかどうかは、ツール出力の規模、KV cache戦略、マルチテナント環境でのバッチ処理に左右される。今後は、公開コードでモデル横断の結果を再現できるか、また特定のエージェント軌跡で学習したプルーナーが、新しいリポジトリ、ツール形式、タスク分布において重要な証拠を誤って削除しないかを検証する必要がある。