Harness‑IF、「もともとできる」ことと真の指示遵守を分離──12種類のコーディングエージェントで最大7.4ポイント差

コーディングエージェントがテストに合格しても、プロジェクトのルールを本当に理解し、遵守したとは限らない。たまたま同じ手法を採っただけかもしれない。8月12日に投稿された[Harness‑IF](https://arxiv.org/abs/2608.11727)は、この違いを検証するための対照評価を構築した。642件のルールを収録したルールバンクから60件のマルチターン・コーディングタスクを作成し、最終的に256件のルールについて判定した。ルールは、システムプロンプト、プロジェクト指示ファイル、ユーザーメッセージ、ツール記述、スキル記述という5種類のインターフェースに配置された。

主要指標のAgainst‑Prior Accuracy（AP‑Acc）は、プロンプトで指示されていない場合のエージェントのデフォルト動作に反するルールだけを集計する。研究チームはまず、9種類のプローブ版でルールを取り除いてタスクを再実行し、どの行動がもともと発生するものかを判定した。そのうえで、ルールを追加した際に実際の行動が変化したかを測定した。12種類の最先端モデルの通常の正確率は72.1～85.9％だった一方、AP‑Accは66.1～78.6％にとどまった。すべてのモデルで3.6～7.4ポイント低下し、平均差は5.81ポイントだった。共通タスクに限定して比較しても首位は変わらなかったが、隣接する3組の順位が入れ替わった。従来の総合スコアでは、モデルの実際の指示遵守能力を誤って評価する可能性があることを示している。

これは、[AGENTS.md](https://agents.md/)や同様のプロジェクトルールを採用するチームにとって実務的な意味を持つ。OpenAIが公開した[Codex agent loop](https://openai.com/index/unrolling-the-codex-agent-loop/)によると、エージェントはサンドボックスポリシー、プロジェクトファイル、スキル、環境情報を異なるプロンプト層へ集約する。一方、Harness‑IFによる9種類の競合実験では、実際の優先順位が単純にプロンプトの深さだけで決まるわけではないことが判明した。全体として、システムプロンプト、プロジェクトファイル、ユーザー指示は、ツール記述やスキル記述よりも優先された。

エンジニアリング上は、重要なルールを観測可能なテスト、ポリシーチェック、または実行レシートへ変換すべきであり、最終的なpatchが正しいことを確認するだけでは不十分だ。制約として、主要実験は60タスクのみで、競合実験はさらに少ない9種類に限られる。また、論文には公開コードやデータへのリンクも記載されていない。次に注目すべきなのは、異なるエージェントフレームワークで結果を再現できるか、そしてルール同士が矛盾する場合やコンテキスト圧縮後にも同じ優先順位が維持されるかどうかだ。