返回首頁

代理系統與評測

Stellar Colosseum 將長篇證明拆成代理競賽,跨模型選擇在 TCS‑Bench 達 71%

Google Research 公開 Stellar Colosseum,以策略探索、反例攻擊、依賴圖與分層彙整管理長程數學研究。系統在 300 題 TCS‑Bench 達 71%,但成績依賴大量推論與自動評分,不能直接視為模型獨立證明能力。

Simon Bening · Public domain · Image source
zh-Hant

Google Research 與卡內基美隆大學研究者在 9 月 14 日公開 [Stellar Colosseum 論文](https://arxiv.org/abs/2609.15983),試圖解決長程數學研究中「早期策略錯誤一路污染後續證明」的問題。它不是單純增加取樣次數,而是先平行提出多條解題策略,為每項候選配置專門尋找反例、隱藏假設與循環論證的 falsifier;候選及批評再經可重疊的隨機取樣樹逐層合成,避免一次把所有軌跡塞入同一上下文。

當某條路線通過 readiness gate,系統會把證明切成帶明確相依關係的章節級子問題。互不相依的部分可平行處理;局部驗證失敗時只重做相關章節,若全域驗證顯示核心策略不可行,才退回探索階段。失敗草稿、反例與已確認結果會寫入共享知識目錄,供後續回合繼續使用。這套工作流已被移植到 [Google Antigravity Teamwork](https://antigravity.google/blog/teamwork-when-ai-becomes-a-research-partner) 的 Long Proof pattern,但產品版為控制成本而降低了論文案例所用的平行度。

在包含 300 項研究級定理證明任務的 TCS‑Bench 上,單獨使用 Gemini 3.1 Pro 與 Gemini 3.7 Flash 的 Colosseum 執行分別取得 54% 與 55%;系統再讓 Flash 對 Pro 證明產生八份批評,以五票門檻選擇兩份候選之一,結果升至 71%。另一項 Codeforces 測試則在原始隱藏測試集通過 218/222 題。

工程上的關鍵不只是「多代理」,而是把分歧、否證、依賴與回滾做成可持久化控制流程。不過 TCS‑Bench 最終仍由看過參考證明的模型評分器裁決;論文也未提供足以比較成本、token 數與牆鐘時間的完整資料。接下來應觀察人類專家盲審、可重跑的完整 harness,以及相同預算下與 best-of-N、單代理長上下文方法的對照。

來源

  1. Stellar Colosseum: A Many-Agent Harness for Long-Horizon Research in Mathematics and Theoretical Computer Science
  2. Teamwork: When AI Becomes a Research Partner