Google 開源 TPU Sync，以分層 KV 快取與非同步傳輸降低推論等待

Google Cloud 於 11 月 9 日宣布開源 TPU Sync，為長上下文推論與強化學習提供模型狀態搬移底層。它處理的是 KV 快取與模型權重在不同記憶體層級、不同節點之間的流動，並提供 PyTorch 與 JAX 套件，接入 vLLM、SGLang 及 llm-d 生態。官方發布

技術核心是保留 TPU 原生張量布局，透過 PJRT 緩衝區別名與非同步 DMA，在 HBM、主機記憶體及遠端節點之間搬移資料。原生 C++ 背景執行緒負責傳輸與記憶體操作，減少 Python 序列化及全域直譯器鎖介入，讓資料移動與 prefill、decode 計算重疊。主機 DRAM 則充當第二層前綴快取，在 HBM 空間不足時承接被逐出的區塊，之後按需載回。儲存庫架構說明

這對反覆使用相同系統提示、或持續累積多輪對話的服務有直接意義：保留已計算的前綴，可減少重新執行 prefill。在分離 prefill 與 decode 的部署中，處理完提示的節點也能把 KV 區塊串流送往生成節點。Google 回報，Qwen3 235B 在低併發測試中的首 token 延遲平均降低六成；這是指定工作負載的內部結果，不能直接套用到所有服務。測試結果與條件

部署時有兩個界線需要留意。首先，共享儲存體分層與強化學習傳輸模組仍帶有實驗性質；其次，儲存庫明示 API 快速演進，建議固定標籤版本或 lkg.version 指定的驗證提交。目前列出的硬體驗證範圍為 TPU v7x 與 v6e。工程團隊接下來應以自己的快取命中率、主機記憶體預算及併發流量，檢查尾端延遲與吞吐量是否同時改善。版本與硬體說明