llm-d 1.0 強化多租戶推論調度，穩定 API 並調整升級相容性

llm-d 維護團隊於 10 月 20 日公布 1.0，將分散式推論的重點推向部署後的持續營運：同一批加速器如何服務不同租戶、承接代理突發請求，並在更新期間維持服務。前綴快取路由、KV 快取卸載與預填／解碼分離原已存在；此次主要變化是把這些能力整合進較穩定的調度與配置介面。官方公告

多租戶控制以租戶或工作負載識別碼，加上優先級組成流量分類，各自維護佇列。調度器先處理優先級，再於同級租戶間公平輪替；後端飽和時，請求可留在路由層等待，避免繼續堆入模型伺服器。值得部署團隊注意的是，預設行為仍近似先到先服務，租戶政策須主動設定，升級本身不會自動建立服務等級隔離。流量控制說明

代理服務則透過工作階段狀態，把後續輪次導向已有相關 KV 快取的副本；副本飽和後再重新平衡。這對反覆讀取同一份程式碼、文件與對話歷史的代理尤其有用，可減少重算上下文的機會。IBM 的說明也強調，版本價值在於混合負載下的整合與營運成熟度，不能把單一快取命中率直接當成所有應用的成本降幅。IBM 技術說明

遷移方面，路由器的 EPPConfig 與 InferenceObjective 升至 llm-d.ai/v1，後者支援跨多個資源池設定目標。舊的 inference.networking.x-k8s.io 資源群組已移除，須改用 inference.networking.k8s.io；部分 kvcache_* 指標別名及側車的 --vllm-port 旗標也被刪除。這些變動可能影響部署清單、監控查詢與啟動腳本。正式版本說明

工程團隊接下來應以互動請求混合代理突發流量實測，觀察首個 token 延遲、各租戶等待時間，以及快取親和性是否造成熱點；升級演練則需驗證預填與解碼副本的版本配對。官方公告日期是 10 月 20 日，路由器元件標籤則早於 10 月 16 日發布，兩者不宜視為同一發布時間。