vLLM 0.32.0 加入結構化決策端點，升級須留意 Python 與串流相容性

vLLM 於 2026 年 10 月 18 日發布 0.32.0，GitHub 發布紀錄與 PyPI 套件日期一致。新版新增 POST /v1/systemone，讓應用提交狀態與具型別的問題，取得各選項機率，可供分類、路由及評分流程整合。發布說明、PyPI 套件

對支援的生成模型，端點將每個問題分別處理，讀取回覆首個 token 的標籤對數機率，再以 softmax 計算選項分布。問題支援選擇、是非與有序評分；啟用前綴快取後，共用狀態可重用預填結果。從工程用途推看，這可減少分類流程對自由文字解析的依賴，但端點預設開放不代表所有模型都支援，缺少讀取策略會回傳 501。版本文件

機率欄位也有解讀限制：選項間正規化後的高機率，未必代表模型原本傾向輸出合法標籤。文件另提供 label_mass，表示整個詞彙表中落在標籤上的機率總和；confidence 則結合該總和與所選答案的占比。工程師應一併觀察這些值，並以自有資料驗證門檻。機率定義

重現性同樣需要測試。官方指出，相同請求的機率可能隨批次組合及前綴快取命中而改變；可設定 VLLM_BATCH_INVARIANT=1 取得可重複的讀值，但會犧牲吞吐量。因此，線上路由若以細微機率差決定下一步，應量測批次變動是否造成決策翻轉。執行限制

升級方面，0.32.0 移除 Python 3.10 支援、收緊預設 CORS 來源，並重新命名 Responses API 的推理串流事件。維運者需核對基底映像、瀏覽器來源設定與事件解析器。新端點是否改善實際成本與延遲，仍須以目標模型、問題數及快取條件量測，不能直接由功能推出推定。相容性變更