FM-Bench、エージェントにクラブを20年間運営させるも、15モデルすべてが拒否されたオファーから市場価格を推定できず

新たに公開されたFM-Benchは、言語モデルのエージェントを、問題ごとに独立した質疑応答環境ではなく、再現可能なサッカークラブ・シミュレーターに投入する。エージェントは20ゲーム年にわたり、26種類のツールを使ってドラフト、選手の売買、契約交渉、施設やユース育成への投資、メンバー編成、取締役会への対応を行う。全体では約340～400の意思決定ポイントが含まれる。すべての対戦相手が共通の予算制約を受け、選手の真の能力は一定のバイアスを含むスカウト評価レンジによって隠される。市場もエージェントの行動に応じて変化する。

評価はSoloとArenaに分かれる。Soloでは1つのモデルが15の固定スクリプトと対戦し、Arenaでは15モデルと1つのスクリプトベースラインが同じ世界に投入される。エンジンは決定論的シミュレーションを採用しており、同じ乱数シードとアクションログがあればビット単位で再現できる。スコアは獲得タイトル、クラブ純資産の増加額、所属選手の価値から算出され、LLMによる判定は不要だ。論文によると、3つのシードすべてで15モデルが全シーズンを完遂した一方、スクリプトベースラインの多くは途中で破産するか解任された。ただし、首位は10モデルの間で入れ替わっており、価格、プロバイダー、token支出のいずれも順位を確実には予測できなかった。

トラジェクトリから明らかになったボトルネックは、総合スコア以上に注目に値する。高スコアのエージェントは契約更新を早めに行い、遊休資金を減らし、シーズン終盤には回収期間が長すぎる投資を打ち切る傾向があった。しかし、数百回に及ぶオファー拒否から市場の隠れた価格を推定できたモデルは一つもなかった。エージェントが独自に構築するメモリも、ファイルを際限なく蓄積するか、シーズンごとに計画を書き直して継続性を失うかという、両極端に陥った。

エンジニアリング面では、FM-Benchは監査可能な長期ワークフロー向けストレステストを提供しており、メモリ圧縮、状態推定、長期的な信用割当の研究に適している。ただし、公開リポジトリで完全に提供されているのはSoloのみで、公式Arena、非公開シード、正式なトラジェクトリは著者らが管理している。プロジェクトは現在もresearch previewとされており、スコアリングのバージョンやキャリブレーションは今後変更される可能性がある。そのため、現時点の順位を汎用エージェント能力のランキングとして直接解釈すべきではない。