SoL-Pi、4つの仕組みでエージェントのコストを削減、EdgeBenchスコアの約94%を維持

NVIDIA、南洋理工大学、MITのチームは9月17日、自動実験を通じてコーディングエージェントの実行フレームワークを改良するSoL-Piの研究を公開した。システムは152の改善方針と535の実行可能な環境から4つの仕組みを選び出し、ツールとのやり取りやコンテキストの再送にかかるコストに焦点を当てた。これによるモデルの重みの更新は行っていない。研究ではまず能力と効率のしきい値を固定してから変更候補を検証し、選定されたフレームワークのみを独立した評価に進めた。[論文](https://arxiv.org/abs/2609.20519)

4つの仕組みは、それぞれ異なる無駄に対応する。Action Fusionは編集とその後の検証コマンドを1回のツール呼び出しにまとめる。Online Context Compactはサブタスクの終了時に、その後のコスト削減でキャッシュの書き換えコストを相殺できるかを見積もる。ObservationPackは大きな出力をローカルに保存し、その後はインデックスと抜粋を送信して、必要に応じて原文を取得する。Evidence-Preserving Reducerは、より安価なモデルにビルドやテストのログを先に読ませ、引用と出典を照合する。検証に失敗した場合は元の出力を保持する。[技術解説](https://nvlabs.github.io/SoL-Pi/)

この検証方法からは、引用の出典を追跡できても、重要な情報の欠落がないとは限らないことが読み取れる。長いログに依存して問題を診断するワークフローでは、原文の取得回数、エラーの見落とし、再試行のコストを併せて測定すべきだ。その時点の入力を削減した結果、後続の調査を繰り返す回数が増える事態を避けるためである。特に、エラーの手掛かりが複数の出力にまたがる場合、保持する内容の選択が適切かどうかは、タスクの結果によって検証する必要がある。

著者らは、公開されている51件のEdgeBenchタスクにおいて、効率化機能をすべて有効にした構成では、Piと比べて2つのモデルでトークントラフィックが44.7〜49.0%減少し、APIコストが約3分の1削減されたと報告している。ただし、性能低下がまったくないわけではない。GPT-5.6 Solの平均スコアは44.8から42.0に、Opus 5は44.8から42.2に低下した。トラフィックの集計にはキャッシュの読み書きが含まれるため、生成テキスト量が半減したとは解釈できない。また、コストの算出には8月17日時点のAPI料金を用いている。[結果表](https://arxiv.org/html/2609.20519v1)

外部タスクでは、このトレードオフがさらに明確になる。CPUのみを使用するTerminal-Bench 4の63件のタスクで、SoL-Piが解決したのは15件、Piは18件だった。総費用は下がったものの、成功したタスク1件当たりのコストと完了率を併せて比較する必要がある。研究には、人間が改善の方向性を設定し、成果を確認し、コードをリファクタリングする工程も残っており、継続的な再帰的改善は今後の目標とされている。[プロジェクトの評価と制約](https://nvlabs.github.io/SoL-Pi/)

公開版はMITライセンスのPi拡張機能として提供され、4つの仕組みはデフォルトですべて無効になっている。テストはPi 0.85.1を対象に行われている。導入者は、ログを補助モデルに送信してよいか、ローカルに保存するアーカイブの保存期間はどの程度かを別途確認する必要がある。エンジニアリング上の次のステップは、各機能を1つずつ有効にして、成功率、キャッシュヒット、実際の請求額を測定し、自分たちのワークロードでも削減効果が得られるかを確認することだ。[リポジトリ](https://github.com/NVlabs/SoL-Pi)