AI coding tools
エージェント指示ファイルが平均226%増加、研究が「ルールの根拠」でCLAUDE.mdの肥大化を抑制
1,867件の公開リポジトリを対象とした研究で、CLAUDE.mdなどのエージェント指示ファイルにはルールが追加され続ける一方、古いルールは次第に削除されにくくなることが判明した。対照実験では、各ルールを追加した理由をモデルが読める形で残すことで、余分な指示の99.3%を除去できたが、大規模な実環境のコードベースではまだ前向きに検証されていない。

コーディングエージェントは、修正内容を`CLAUDE.md`、`AGENTS.md`、`copilot-instructions.md`などに書き戻し、次回の作業に経験を引き継ぐことが多い。しかし新たな研究は、この低コストな記憶が、増える一方で減らないラチェット効果を生むと指摘する。著者は1,867件の公開GitHubリポジトリ、299,440回のファイルバージョン遷移、247,694件の指示のライフサイクルを追跡し、ファイルの存続期間を通じて指示数が平均226%増加することを明らかにした。大規模な書き換えを除外すると、関連するコミット1回当たりの指示は平均で正味4.9件増加し、ルールが長く存在するほど削除される確率は低下した。
著者はこの現象を「破滅的記憶(catastrophic remembering)」と呼ぶ。ルールの追加では目の前の失敗に対処するだけでよいが、削除するには、そもそもそのルールが追加された理由を再構築しなければならず、そうしなければ不具合を再発させる恐れがある。ファイル全体を大幅に書き換えた場合でも、平均指示量は10回のコミット以内に、書き換え直後の59.5%から書き換え前の91.5%まで回復した。これは、一度限りの整理では情報の喪失に対処できていないことを示している。
研究ではさらに、IFEvalを、既知の最小ルールセットを持つ環境として逆構成し、モデルにプロンプトを反復的に保守させた。各ルールについて、それがどの失敗事例から導かれたかも記録すると、51ラウンド後の余分なルール量は211.3%から1.4%に低下した。一方、見た目は似ていても因果情報を含まない文章を追加しただけでは、同等の効果は得られなかった。WildIFEvalの実験では、この種の根拠によって指示遵守率が最大11.6パーセントポイント向上した。
エンジニアリング上の要点は、起動時のコンテキストへ説明を無条件に追加することではない。ルールに由来、適用範囲、撤回条件を持たせ、特定のパスだけに適用される内容は、オンデマンドで読み込むルールやスキルへ移すことだ。Claude Codeの公式ドキュメントも、CLAUDE.mdを簡潔に保つことを推奨し、HTMLブロックコメントは読み込み時に削除されると注意喚起している。そのため、研究で必要とされる「モデルから見える根拠」を、この種のコメントで直接実装することはできない。なお、これは単独の著者によるプロトタイプ研究であり、対照実験の対象も機械的に検証できる少数の制約に限られている。また、大規模な本番リポジトリにおいてルールの自動削除が安全であることも証明されていない。