返回首頁

具身 AI 與機器人

FolDeX 以逾 2,000 小時真實機器人資料評測長序列衣物摺疊

FolDeX 將衣物摺疊整理成涵蓋 20 多項任務、10 多種機器人本體的實體世界基準,專門測試異質資料能否跨任務、場景及硬體重用。團隊另提供遠端實機評估,但資料授權、完整下載方式與首批可比較基線仍待確認。

AliciaPSF · CC BY-SA 4.0 · Image source
zh-Hant

具身 AI 常在模擬器或短序列剛體操作上評分,但布料會持續變形、遮擋,雙臂每一步動作又會改變後續可達狀態,使模擬到實機的差距特別明顯。FolDeX 因此把衣物摺疊設為主要任務,宣稱完全以實體機器人資料建構,收錄超過 2,000 小時操作經驗、20 多項任務與 10 多種機器人本體,藉此評測長序列可變形物體操作。

基準不是只比較單一政策的成功率,而是圍繞四種資料重用情境設計:利用部署期間的人類介入與失敗恢復軌跡;跨衣物類別與剛體、軟體任務轉移;在光線、背景及桌面配置改變後重用資料;以及跨不同機器人本體轉移。這些維度直接對應機器人團隊最昂貴的問題——能否把既有實機經驗帶到新環境,而不是每次換衣服、相機或手臂都重新蒐集示範。

團隊也提出遠端實機評估平台,外部研究者可提交政策,在保留物件、受控初始狀態與統一執行流程下測試。相較自行購置硬體後各自報告成績,這有機會降低硬體差異與挑選成功案例造成的偏差;但實機平台的排程容量、失敗重試規則及安全限制,也可能影響可重現性。

目前資訊主要來自預印本與官方挑戰頁,尚缺完整資料清單、授權條款、感測器同步格式及多個公開基線的獨立驗證。逾 2,000 小時是資料規模,不等同涵蓋真實家庭的長尾變化。後續應觀察資料能否實際下載、評測伺服器是否持續開放,以及 VLA 或世界—動作模型在跨本體與失敗恢復分項上的真實落差。

來源

  1. FolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects
  2. Fold Challenge evaluation platform
  3. FolDeX:真實環境中的長序列可變形物體操作基準