AI inference and observability
WitProbe 為四類注意力記憶建立執行期風險帳本，1,240 萬次讀取未超出預算
新研究以具型別的誤差契約統一監測 KV cache、潛在快取、稀疏選擇器與遞迴狀態，並用 Lean 檢查可形式化的組合規則。公開儲存庫能重建論文數字與 67 項定理，但不含架構專用探針及完整服務平台。
模型服務的「記憶」已不再等同於傳統 KV cache：潛在快取、壓縮 KV、學習式稀疏選擇器與遞迴狀態各有不同的誤差形式，監控數值也不能任意相加。WitProbe 研究提出一套執行期可觀測性契約，以三種操作涵蓋四類注意力記憶；每份契約把誤差度量寫進型別，只有度量相容時才能組合。若證明只能覆蓋部分步驟，整條請求的可信等級便自動降為「部分認證」或「實證」，避免形式化標籤掩蓋未證明的環節。
作者在五個架構家族、六種模型設定上建立逐階段界線，再合成每項請求的風險帳本。系統重播 1,240 萬次記憶項目讀取，並在八路並行、每請求獨立預算及身分歸屬失敗即關閉的設定下測試；作者報告沒有風險預算違規。常駐 CUDA Graph 探針只觀察預先聲明的單層子集，其成本落在服務雜訊範圍內。另一項壓縮 KV 原型實驗則把無聲資料損壞定位到結構邊界：沒有淘汰且請求槽位隔離時可精確判斷，失敗則集中於快取淘汰或槽位重用情境。
技術價值在於把「快取壓縮後看似正常」改寫成可執行、可追溯的服務條件，而不只是離線平均品質分數。公開 Apache 2.0 儲存庫包含凍結實驗資料、數字與圖表重建器、驗收閘門及 67 項 Lean 定理；低階結果可在沒有 GPU 或模型權重的環境重建。不過架構專用的 hook、adapter、kernel 與服務堆疊修補並未開放，完整重跑仍依賴私有的八張 HGX GPU 平台。工程團隊接下來應關注探針能否移植到主流推論引擎，以及槽位重用與快取淘汰下的失敗界線能否獲得獨立重現。