離線 Top-K 蒸餾移除常駐教師模型，單張 H200 吞吐量最高提高 41%

CompactifAI 團隊公開一套降低大型語言模型知識蒸餾成本的方法，將教師推論與學生訓練拆開。傳統線上蒸餾必須讓教師與學生同時駐留 GPU，並在每個訓練步驟重新產生教師分布；新流程改為預先計算並保存教師每個位置的 Top-K logits，學生訓練時直接讀取快取，釋放教師所占的顯存與運算資源。

作者報告，離線蒸餾取得近乎相同的訓練 loss，每次迭代約快 29%，在單張 NVIDIA H200 上的吞吐量最高增加 41%。Top-K 快取會另外占用磁碟，卻可由多次學生訓練及超參數實驗重用，因此特別適合模型壓縮、量化後能力修復與大量消融實驗。它也把昂貴的教師推論轉成可排程的一次性資料製作工作。

第二項改動是融合、分塊的 KL divergence loss。一般實作會建立形狀近似「序列長度乘詞彙表大小」的完整學生 logits，再與教師分布比較，長上下文時容易出現顯存尖峰。新 kernel 分塊計算輸出投影、softmax 與 KL，且不把完整詞彙張量實體化，使峰值記憶體隨序列長度較平順成長。研究因此能在單張 GPU 將訓練上下文由約 8,192 token 擴至 32,768 token，另以輸出頭測試驗證 4K 至 256K token 的記憶體與迭代縮放。

團隊已公開 Full-Chunked-KL-Loss 實作，但論文標示相關專利申請中。現階段不能把 kernel 微型測試直接視為完整模型的端到端加速；Top-K 截斷也可能遺失低機率教師訊號。工程團隊接下來應關注不同詞彙大小、模型家族、K 值、資料快取 I/O，以及多 GPU 訓練下通訊是否取代顯存成為新瓶頸。