NVIDIA 公開 Dory 4B 循環模型權重，以可調迴圈增加推論計算深度

NVIDIA 於 10 月 16 日公開 Nemotron Labs Dory 1.0，這款 40 億參數語言模型採用潛在循環架構，讓部署者調整共享層的執行次數，以同一份權重測試不同計算預算。官方提供 BF16、MXFP8、NVFP4 與 Q5_K_M 格式，標示最高支援 256K token 上下文，授權採 OpenMDW 1.1；支援語言目前列為英文。官方模型卡

Dory 將網路分為八層輸入區塊、二十層共享循環區塊與八層輸出區塊，每次循環重新注入輸入。工程上的意義是，增加推論深度無須載入另一個更大檢查點。不過，每個 token 的運算量也會增加，不能僅憑參數量推算速度或成本。架構說明

官方 BF16 評測中，SWE-bench Verified 在一、二、四次循環下分別為 50.3、59.5、61.8；GPQA Diamond 則為 69.19、72.41、72.16，顯示增加循環並非所有任務都持續受益。NVIDIA 建議以兩次循環起步，再量測實際工作負載。這些數字來自官方評測環境，尚不能視為獨立重現，亦不宜直接套用到量化版本。評測與部署設定

快取策略是另一個關鍵。逐迴圈保存 KV 會隨循環次數增加記憶體需求；last_loop 模式則覆寫同一組快取，只保留最後迴圈的鍵和值。llama.cpp 支援提案提醒，這會改變預測結果，且受提示預填分塊大小影響；提案仍為草稿，完整長上下文驗證尚未完成。llama.cpp 支援提案

對開發者而言，下一步應比較不同循環與快取模式的任務成功率、端到端延遲及峰值記憶體。官方安裝指引目前仍要求使用待整合的 vLLM 或 llama.cpp 變更；中文能力也須另外驗證，不能從英文評測推定。部署指引