模型訓練工具
Soup 0.74 修正凍結模型的 fp32 載入路徑,單一 LoRA 測試峰值顯存降至 18.7 GiB
Soup 的文字、視覺與音訊載入器未指定 dtype,導致不參與最佳化的基礎模型仍以 fp32 常駐顯存。修正後官方 H100 測試由 48,241 MiB 降至 18,658 MiB,但 2.59 倍改善尚不能外推至所有模型與硬體。

開源模型微調工具 Soup 釋出 0.74.0,修正一個足以扭曲硬體容量規劃的預設行為。其文字、視覺與音訊三條 `from_pretrained` 路徑先前都沒有明確傳入 dtype,使監督式微調中的凍結基礎模型被實體化為 fp32;即使 LoRA 只更新少量轉接器參數,整個基礎模型仍以比檢查點高一倍的位元寬度占用顯存。
新版會依檢查點原有精度載入凍結權重,但完整微調時仍刻意保留 fp32。專案也把訓練器與顯存預檢原本各自維護的「是否為完整微調」判定,合併成同一個 `is_full_finetune()`,避免容量估算認為模型已凍結,實際載入路徑卻做出相反決定。
維護者在單張 H100 上以 Llama 3.1 8B 加 LoRA 測試,報告峰值顯存從48,241 MiB降至18,658 MiB,相差約28.9 GB、縮減2.59倍,三次執行的結果位元組一致。這個差額足以改變工作是否能放入某張 GPU,以及團隊會不會誤判參數高效率微調缺乏經濟效益。不過數字來自專案自身、只涵蓋一組模型與硬體,尚無獨立重現。
0.74.0 同時修補多個執行與網路邊界。遙測、Webhook及OTLP驗證器現在會攔截 `127.1`、十進位、十六進位與八進位等替代 IPv4 表示法,避免它們繞過位址檢查。重新開放的 `/v1/tools/bash` 被置於作業系統層隔離後,服務若綁定非 loopback 位址卻未提供 `--tool-auth-token`,會直接以狀態碼2退出,不再只顯示警告;SGLang 後端亦不會再默認啟用遠端模型程式碼。
升級仍有相依性陷阱:套件宣告的 `torch>=2.5.0` 下限與 `trl>=0.29` 實際不相容,已知 Torch 2.5.1 缺少所需的 `FSDPModule`,會使 DPO、KTO、GRPO及BCO無法載入。採用者應記錄基礎模型實際 dtype、凍結狀態、峰值配置與保留顯存,並以自己的模型、序列長度和 GPU 重跑容量測試;能由套件解析器成功安裝,不代表該版本組合已受測。