推論系統
WIDE 讓每個 token 動態裁剪注意力與 FFN，LLM 解碼端到端加速 1.55 倍
WIDE 將動態剪枝細化到 token 級的注意力頭群組與 FFN 通道群組，並同時支援 prefill 與 decode。研究在 50% 稀疏度下報告最高 4.95 倍核心層解碼加速，但端到端收益縮至 1.55 倍。
大型語言模型的結構化剪枝通常會固定移除整層、注意力頭或 FFN 通道，容易部署，卻無法依 token 難度調整運算。新公開的 WIDE 改在每一層加入輕量路由器，讓各 token 分別選擇要執行的 query-head 群組與連續 FFN 通道群組；K、V 投影則維持稠密，避免動態決策破壞 KV cache。
訓練分成兩階段：先凍結骨幹，只以 Gumbel-Softmax 訓練二元路由；再選擇性加入 LoRA，修復剪枝造成的品質損失。執行端則重新排列遮罩，結合硬體無關的區塊跳過與依硬體調整的區塊內跳過，使細粒度稀疏不只停留在 FLOPs 數字。論文稱，在 50% 稀疏度下，WIDE 相對既有動態深度剪枝提高 55.1% 效能；核心層 prefill、decode 最多分別加速 1.98 倍與 4.95 倍，端到端則為 1.68 倍與 1.55 倍。
程式碼已公開，包含 Llama 3.1 8B 的訓練流程、FSDP2、評測設定及獨立動態剪枝核心庫。參考配置在四張 A100 40GB 上，路由校準約九小時，LoRA 修復另需十三小時，表示它並非零成本的即插即用優化。
工程團隊接下來應關注不同批次大小、上下文長度與 GPU 架構上的端到端表現。論文的高倍數主要是核心層結果；實際服務仍受路由開銷、記憶體搬移、排程與未被裁剪算子限制，也尚未證明能直接套用到量化模型、MoE 或主流推論伺服器。