Rails、オープンソースの評価フレームワーク「lemans」を公開：ファイル復元、ネットワーク遮断、完全な軌跡でエージェントの不正余地を低減

Ruby on Railsチームは、Agents on Railsリーダーボードを支える`lemans`をMIT Licenseでオープンソース化し、開発者がコーディングエージェントの評価を構築、実行、監査できるようにした。Ruby 3.4以降で動作し、モデル層はRubyLLMを介して接続する。サンドボックスにはDaytonaまたはローカルDockerを選択でき、評価プロジェクトに必要なのは`bench.yml`、環境イメージ、タスク指示、検証プログラムだけだ。同梱の`miniswen`はmini-SWE-agentのRuby移植版で、単独でも簡易コーディングエージェントとして利用できる。

lemansの重点は単にモデルを起動することではなく、「エージェントが本当に作業を完了したか」を検証可能な成果物にすることにある。各試行では、エージェントのパッチ、ATIF形式のインタラクション軌跡、検証ログ、コスト、token数、ステップ数、所要時間、環境概要を保存する。Oracleエージェントとno-opエージェントを使い、正解は必ず合格し、空の解答は必ず不合格になることをそれぞれ確認する。採点前には初期スナップショットから`test/`、`bin/`、テスト環境設定などの保護対象を復元し、エージェントがテストを削除したりテストランナーを書き換えたりして、見せかけの成功を作り出すことを防ぐ。

リモートサンドボックスはインストール段階ではインターネットに接続できるが、エージェントが作業を開始した後はモデルプロバイダーのホストへのアクセスだけが許可される。これにより、既存のパッチを検索したりデータを外部へ漏えいさせたりする機会を減らす。また、ディスクへ書き込まれる軌跡から、既知のプロバイダー認証情報をフィルタリングする。この設計は、テスト中のモデルが`env`を実行し、OpenRouterのキーが公開ログへ混入しかけた事例を受けて導入された。

同時公開されたRailsリーダーボードでは、Qwen3.8-27Bが48／63を記録したものの、1回の実行にかかる時間の中央値は約27分で、Rails API recallはわずか7.9％だった。一方、GPT-5.6 Terraは49／63で、実行時間の中央値は約182秒だった。これは、タスク成功率をレイテンシ、コスト、フレームワーク知識から切り離して解釈できないことを示している。ただし、現在の結果はRailsのタスクに集中しており、同じ簡易エージェントを使用しているため、一般的なソフトウェアエンジニアリング能力へそのまま一般化することはできない。また、認証情報のフィルタリング対象はフレームワークが認識できるシークレットに限られ、最小権限の原則や外部ログのサニタイズに代わるものではない。