代理基礎設施
SpecBox 在模型生成期間預熱代理沙箱，P99 延遲最高縮短至三分之一
SpecBox 根據串流 token 推測即將使用的工具，讓沙箱啟動與模型推論重疊，並以相依圖預取後續執行環境。論文報告其 P99 端到端延遲最高改善 2.9 倍、峰值記憶體降低 45.9%，但目前仍是研究原型，尚無公開程式碼或獨立重現結果。
代理服務的下一個延遲瓶頸，可能不在語言模型，而在每次工具呼叫前建立的隔離執行環境。7 月 27 日公開的 SpecBox 嘗試在模型尚未完成輸出時預測工具意圖，提前配置相應沙箱，以避免多租戶代理在互動過程中反覆等待冷啟動。
現有部署通常在兩種做法間取捨：長期保留每個工作階段的沙箱可降低等待時間，卻會讓大量閒置容器或微型虛擬機占用記憶體；需要時才建立環境雖節省資源，冷啟動卻直接落在使用者可感知的關鍵路徑。SpecBox 同時檢查關鍵字與生成中的語意嵌入，在模型串流輸出尚未形成完整工具呼叫前，判斷可能需要的環境並啟動預熱。若代理任務包含連續工具步驟，系統再利用沙箱相依圖與上下文，以機率方式預取下一個環境。
原型還加入兩項互補最佳化：語意結果快取會跳過可重用的重複沙箱操作；獨立的共享記憶體資料面則讓大型產物避開一般網路序列化，進行零複製傳輸。作者以高並行、多輪代理軌跡測試，宣稱相較完全按需啟動，P99 端到端延遲最多降低 2.9 倍；相較永久保留沙箱，峰值記憶體最多減少 45.9%。這類設計對程式代理、資料分析代理與 MCP 工具服務尤其有吸引力，因為它把模型的生成時間轉化成基礎設施準備窗口。
代價是錯誤預測會白白啟動環境，也可能形成新的側通道：預熱決策能間接透露模型正在規劃的工具與資源。語意快取亦不能直接套用到有副作用、依賴時間或權限狀態的操作。論文目前未提供公開程式碼，測試軌跡、沙箱技術與硬體組態也未經外部重現。接下來應觀察不同代理框架下的命中率、錯誤預取成本，以及系統能否在租戶隔離與憑證安全不退步的前提下保持延遲收益。