返回首頁

最新模型

Kyutai 公開 REKI 2.4B 機器人模型,以快取記憶降低動作反覆振盪

Kyutai 於 10 月 16 日公布 REKI,公開預訓練與微調權重,以及資料處理、訓練和部署程式碼。模型在動作專家中加入短期記憶,官方測試顯示可減少反覆動作,但權重限非商業用途,效能仍待獨立重現。

Cinerama14 · CC BY-SA 4.0 · Image source
zh-Hant

Kyutai 與 Inria、法國國立路橋學院合作推出 REKI,一款約 24 億參數的視覺語言動作模型。官方於 10 月 16 日公布專案,論文則於前一天提交 arXiv;此次開放內容涵蓋預訓練及任務微調權重,以及資料整理、訓練、評測和實體機器人部署程式碼。官方發布紀錄、論文

REKI 以 Qwen3.5-2B 編碼相機畫面與文字指令,再由約兩億參數的流匹配動作專家產生動作序列。其關鍵設計是每幀加入 32 個可學習的暫存 token,摘要當前觀察,並將鍵值留在快取中,供後續動作讀取。這些 token 不讀取動作 token,因此可跨去噪步驟重用,歷史影像也無須重新編碼。訓練採三幀、每幀間隔一秒的視窗,推論時保留前兩幀的記憶。架構說明

團隊在單張 H100、兩路 256×256 影像、十次 Euler 步驟及 CUDA graphs 條件下,量得每個動作區塊耗時 21.8 毫秒;讀取歷史記憶增加約 0.1 毫秒,每個過去影格增加約 2 MiB 顯示記憶體。這組數據提供了短期記憶的成本依據,但不能直接當成機器人完整控制迴路的延遲。推論測試條件

公開儲存庫列出的成功率為 LIBERO-Plus 90.4%、RoboTwin Clean2Rand 65.8%、RoboCasa365 38.4%,各自使用對應的微調模型。官方消融實驗也顯示,RoboTwin Clean 中反覆在兩個姿態間振盪的回合比例,從無記憶時的 18.6% 降至 4.1%。這支持短期觀察有助於消除動作歧義,但仍屬團隊自測,尚不能推論所有機器人任務都會受益。評測程式與結果、記憶消融

對研究者而言,公開資料配方與評測流程有助於重現;部署者則須注意,權重採 CC BY-NC-SA 4.0 授權。模型主要學習桌面操作與平行夾爪示範,新機器人的狀態配置需要重新訓練輸入層,重新規劃間隔也須配合訓練設定。接下來值得觀察的是獨立重現、其他硬體上的延遲,以及新夾爪與任務的微調成本。模型卡與限制

來源

  1. Kyutai 官方部落格:REKI 發布日期
  2. REKI: Registering Knowledge in VLAs 專案技術頁
  3. REKI 論文
  4. REKI 公開程式碼與評測結果
  5. REKI-2B 模型卡