RMM 按輸入裁剪矩陣乘法收縮軸，Llama 3.1 8B 長上下文最快加速 1.40 倍

新公開的 [Reduced Matrix Multiplication（RMM）論文](https://arxiv.org/abs/2608.13426)把 Transformer 推論的近似單位由 token、神經元或固定子網路，下移至每一次矩陣乘法的「收縮軸」。對 `Y=AB`，系統計算當前 activation `A` 各欄的 L2 範數，保留比例 `ρ` 所指定的 Top-K 維度，再執行縮小後的 `A[:,I]B[I,:]`。同一規則可用於 QKᵀ 的 head 維度、注意力權重乘 V 的 token 維度，以及線性投影；選擇會隨輸入、層、head 和解碼步驟改變，毋須重新訓練或永久刪除權重。

作者在 1B 至 70B 語言模型及 Qwen2.5-VL-7B 上測試。以 Llama 3.1 8B、A100、batch 1 和 `ρ=0.8` 為例，端到端延遲在 1,024 token 只由 109.39 降至 103.91 毫秒，即 1.05 倍；到 2,048 與 4,096 token 才分別達 1.27、1.40 倍。70B 在 2,048 token 為 1.41 倍，4,096 token 的密集版本記憶體不足，RMM 則完成推論，但這不代表模型權重已被壓縮。

品質與裁剪位置高度相關。8B 模型在 `ρ=0.8` 的 CNN/DailyMail ROUGE 幾乎不變；降至 `ρ=0.5` 後，五項 QA 平均準確率由完整模型 69.8 跌至 59.8。ARC-Easy 的 `ρ=0.7` 實驗中，裁剪 attention 側只跌 3.52 點，整個 MLP 則跌 18.78 點，支持分元件設定比例。部署前仍須保守看待：延遲只平均十次，密集基線使用 Hugging Face SDPA，RMM 使用自訂 Triton kernel；[OpenReview 版本](https://openreview.net/forum?id=2uxuiykvA4)可追溯早期方法，但論文所列 GitHub 倉庫截至截稿仍回傳 404。真正值得觀察的是能否整合 vLLM、量化 kernel、連續批次與高併發服務，而非只在 batch 1 長 prefill 中成立。