Transformers 社群追查打包訓練邊界缺口，線性注意力回退路徑可能混入前篇文件

Transformers 一項文件打包訓練問題，在 10 月 12 至 13 日進入實作取捨的討論。原始回報於 10 月 9 日提出：部分線性注意力、因果卷積與 Mamba 掃描運算，缺少選用加速套件時會退回 PyTorch 參考實作，卻丟棄 seq_idx、cu_seqlens 等序列邊界參數。協作者認為支援純 PyTorch 路徑過於複雜、低效；回報者則強調，現況會無聲改變結果。討論紀錄

打包訓練將多筆樣本串成一條序列，以減少補齊空白的計算成本，但各文件仍須保持獨立。官方文件說明，Qwen3.5 等 Gated DeltaNet 模型與卷積模型不能只靠重設 position_ids 隔離樣本，必須由資料整理器提供邊界，並使用相應核心；缺少核心的參考路徑可能混合不同樣本的內容。官方說明

回報者以 H100、開發分支及 Qwen3.5-0.8B 比較同一文件單獨執行、接在另一文件後執行的下一詞元對數機率。完整套件環境的最大差值約為 0.0007；模擬缺少因果卷積套件時升至 5.7380。這是特定前向計算的重現數據，尚不能換算成訓練品質損失。重現程式與結果

修補提案 #49477 讓卷積視窗依序列編號遮蔽跨文件位置，並讓 delta rule 與 Mamba2 掃描逐序列執行。作者測試中，Qwen3.5-0.8B 的最大對數機率差值由 6.8 降至約 0.000011，但逐序列處理會增加主機同步成本。修補提案

另一份草案 #49474 選擇在回退實作無法保留邊界時直接報錯，提示安裝所需套件。兩案目前均未合併。工程團隊可先核對實際核心與資料整理器設定，加入「打包結果對照逐筆結果」檢查；接下來應關注維護者採用哪種策略，以及修補涵蓋的模型與正式版本。報錯方案