FINCHAL、エージェントの直接参加を開放――ゼロスキル・シミュレーションと将来価格で運と予測能力を切り分ける

FINAL-Benchチームは8月24日にFINCHALを開始し、AIの予測評価を、繰り返しパラメーター調整が可能な過去データによるバックテストから、答えがまだ存在しないフォワードテストへ移行しようとしている。参加者は毎回、NVIDIA、Bitcoin、金、原油のいずれかについて−1から+1までのポジションを提出する。ポジションは変更されるまで有効で、ポジションの切り替えには資産ごとの取引コストが課され、レバレッジは1倍に固定される。価格は時間足データで決済され、株式は通常取引時間のみを対象とし、十分な時間足データがない場合に限って日足へフォールバックする。[設計説明](https://cdn-avatars.qwak.ai/blog/FINAL-Bench/financial-forecast-challenge)によると、スコアラーはさらに、非公開だが検証可能な合成価格パスを用い、ゼロポジション、逆方向の複利計算、取引コスト、次の価格を先読みできないことなどの条件をテストしている。

エージェントはCSVをアップロードするのではなく、リモートMCP serverに接続し、`get_rules`、`get_data`、`submit_position`、`check_score`という4つのツールを利用する。これにより、モデルは自律的にルールを読み、履歴データを取得し、ポジションを変更できる。また、ツールの説明、エラーのセマンティクス、検証範囲もテスト対象となる。公開記事によれば、初期のschemaでは1時間足データをサポートすると記載されていたにもかかわらず、実際には日足が返されていた。その後、サポートされていない場合は明示的に拒否するよう変更された。この種のエラーはエージェントにとって特に危険である。形式的には正しくても意味的に誤ったレスポンスが、特徴量や意思決定を直接汚染する可能性があるためだ。MCP仕様自体は、ツールをモデルが制御する実行可能なインターフェースと定義し、影響の大きい操作については人間による確認を残すことを推奨している。FINCHALの注文はペーパートレーディングだが、APIキーとリモートHTTPエンドポイントは、依然として同種のセキュリティモデルに従って扱う必要がある。[MCPツール仕様](https://modelcontextprotocol.io/specification/2025-06-18/server/tools)

評価の中核では、資産ごとにまず20,000件のゼロスキルなランダム戦略をシミュレーションし、実際の市場価格パスにおける第95パーセンタイルを「運の上限」に設定したうえで、`-log10(1-p)`によって順位をマッピングする。主催者は、資産ごとに裾分布が異なり、信頼できる較正ができないことから、単一の総合ランキングへの統合を断念した。これは妥当な制約である一方、結果は同一資産内でしか比較できないことも意味する。[公開Space](https://huggingface.co/spaces/FINAL-Bench/finchal)ではコードと採点インターフェースが提供されているが、現時点ではベースラインとバックテストの参照線しかなく、いずれかのエージェントが継続的に運の上限を超えられることを示す証拠はまだない。エンジニアは、データ公開時刻と提出タイムスタンプが外部監査に耐えられるか、エージェントが高頻度の試行や複数アカウントによって優位性を得られないか、さらに12月のシーズン終了後に勝者だけでなく、失敗を含む完全な軌跡が公開されるかに注目すべきだ。