意味保存変換でコーディングエージェントのコストが最大22.9%増、堅牢性ランキングはフレームワーク次第で逆転

コーディングエージェントは、機能が完全に同一のコードベースであっても、表面的な記述の違いによって成功率やtokenコストが変化する可能性がある。新たな研究ではランダム変種サンプラーを構築し、Pythonプロジェクトに対して、制御フローの等価変換、識別子のリネーム、デッドコードの挿入など、14種類の意味保存変換を適用。そのうえで、エージェントに元と同じissueを修正させた。変種は引き続きベースラインテストを通過する必要があり、エージェントが提出したpatchはFAIL_TO_PASSとPASS_TO_PASSの両テストで評価された。

研究では、SWE-bench Verifiedから28問、SWE-bench Proから26問を選び、mini-SWE agentとOpenCodeを、Claude Opus 4.5、Kimi K2.5、MiniMax M2.5、Qwen 3.6-27Bとそれぞれ組み合わせて検証した。各課題について、元のバージョンを20回再実行し、さらに20個の変種を生成して各1回実行した。変換の影響を受けたコード行の中央値は6.9〜7.7%だった。この構成は、モデル自体のランダム性とコード変種による差異を意図的に切り分けるものだ。[論文](https://arxiv.org/abs/2608.18389)と[実験コード一式](https://github.com/CSU-TrustLab/jagged-frontier)は、いずれも公開されている。

「フレームワーク、モデル、データセット」の16構成のうち13構成で問題解決率が低下し、6構成では95%区間がゼロを除外した。平均低下幅が最大だったのは、SWE-bench Proでmini-SWE agentとOpusを組み合わせた場合の6.7ポイントだった。ただし、堅牢性ランキングに一貫した勝者はいない。Qwenはmini-SWE agent／Verifiedではわずか0.2ポイントの低下にとどまったが、OpenCodeに切り替えると5.5ポイント低下し、同グループで最も脆弱なモデルとなった。逆方向の順位逆転もMiniMaxとKimiで確認された。

正常に完了した実行でも、追加コストが発生した。Verifiedでは8構成すべてでtokenコストが増加し、その幅は4.0〜22.9%だった。1ステップ当たりの入力token数は16構成中13構成で増えており、エージェントは単にステップ数を増やしただけでなく、各ステップでより多くのコンテキストを読み込んでいたことを示す。この結果は、調達・デプロイ担当チームに対し、元の問題解決率が測定できるのは能力にすぎず、実際のコードスタイルに対する堅牢性を表すものではないと注意を促している。

研究の制約として、対象が54問に限られ、変換器のハイパーパラメータ探索も行われていない点が挙げられる。また、固定された課題セットに対するbootstrap区間は、SWE-bench全体の母集団を代表するものではない。今後は、複数のプログラミング言語、異なるリファクタリングツール、実際の企業コードベースを対象に再検証し、成功率、入力コスト、フレームワークのバージョンを継続的インテグレーションの評価項目として併記する必要がある。