Forking Fast 以變點偵測重建推理分岔，分析 token 預算可縮至八分之一

研究模型在推理途中何時改變答案，常用 Forking Paths Analysis：固定一條基準推理鏈，從每個 token 或句子前綴重新抽樣大量後續，再統計最終答案分布。這能定位真正左右結果的「分岔點」，代價卻可能是分析單一推理鏈便生成數百萬 token。Forking Fast 的出發點是：低樣本曲線上的劇烈擺動，許多只是有限抽樣造成的雜訊，而不是模型在每一步都重新決策。

方法先以 PELT 變點偵測把結果分布切成多個區段，再於區段內以高斯核加權鄰近位置的答案計數，形成 Dirichlet 分布；交叉驗證則選擇變點懲罰、成本函數及核寬度。真正的尖銳分岔因此保留，平坦區域的重複抽樣資訊則可共享。作者也驗證，獨立估計之間的總變異距離斜率約為 −0.49，接近多項分布抽樣雜訊預期的 −1/2。

團隊在 Llama-3-8B-Instruct 與 DeepSeek-R1-Distill-Llama-8B 上分析 100 題 tinyMMLU，總共收集 17.7 億 token。低樣本資料經平滑後，在每四個 token 觀測一次的設定中，相當於把有效樣本量提高約 3.3 至 5 倍；結合較疏的觀測間隔後，總 token 預算可降至原本八分之一，而重建誤差只小幅增加。程式庫另公開 prefix-cached sampler、CPU 重建工具、資料、雜湊清單及離線互動儀表板。

這不是讓模型回答更快的推論最佳化，而是降低機制分析與安全稽核的實驗成本。限制也相當明確：結果只來自兩款 8B 模型、五類選擇題輸出及有限長度續寫；最大幅度的分岔上，平滑甚至可能略差於原始計數。其可信區間覆蓋率只有 0.48 至 0.64，作者因此只建議使用點估計。後續關鍵是能否延伸到開放式答案、長代理軌跡與前沿規模模型。