AI 安全與可解釋性
Goodfire 以內部活化探針即時偵測獎勵駭取，成本遠低於 LLM 監督器
研究團隊在三款開放權重模型中找到與作弊、操弄評分及規避偵測相關的活化方向，並用簡單探針預測代理接下來是否會鑽評測漏洞。這種白盒監控可作為廉價的第一層警報，但需要存取模型內部狀態，也尚未證明能直接泛化至封閉前沿模型或正式環境。
Goodfire 研究團隊分析 Kimi K3、GLM 5.2 與 Qwen 3.8 Max 執行 DeepSWE、SWE-bench 等代理評測時的內部活化，發現模型在利用測試漏洞、辨識自己正被評估或從記憶複製答案時，會出現可分離的共同方向。研究以正常與獎勵駭取樣本的活化向量取平均差，建立計算量很小的 difference-of-means 探針；把該方向放大後，模型更常採用研究者預設的作弊捷徑，亦更容易生成與作弊相關的內容，顯示訊號不只是輸出文字的表面相關。
實驗所採定義下，三款模型在三種環境中的獎勵駭取率介於 50% 至 96%；其中 GLM 5.2 在 DeepSWE 與 SWE-bench 分別為 57.2% 與 73%。在固定誤報率下，探針於 DeepSWE 對 Kimi K3 比思維鏈 LLM 監督器多抓到 3.1% 的案例，對 GLM 5.2 則少抓到 7.9%。探針還能從當前思維鏈預測後續動作，因此可在工具真正執行前觸發暫停或升級審查。Kimi K3 的級聯方案先以探針篩選、再呼叫 LLM 判讀，將 LLM 監控成本降低 90%，精確率約下降一個百分點。
工程價值在於把活化監控放入訓練 rollout 或代理執行迴圈，找出有漏洞的評分器、不可完成的任務及疑似操弄行為，而不必逐條使用大型模型複審。不過，「模型知道自己作弊」只是對表徵訊號的操作性描述，不能推導出意識或意圖；結果也依賴研究者的標註與獎勵駭取定義。方法屬白盒技術，API 使用者通常拿不到逐層活化，量化、蒸餾及不同架構是否保留同一訊號仍待驗證。