vLLM 0.32.0、構造化意思決定エンドポイントを追加　Pythonとストリーミングの互換性に注意

vLLMは2026年10月18日に0.32.0をリリースした。GitHubのリリース記録とPyPIパッケージの日付は一致している。新バージョンでは POST /v1/systemone が追加され、アプリケーションは状態と型付きの質問を送信し、各選択肢の確率を取得できる。分類、ルーティング、スコアリングの各プロセスに組み込める。リリースノート、PyPIパッケージ

対応する生成モデルでは、エンドポイントは各質問を個別に処理し、応答の最初のtokenのラベル対数確率を読み取ってから、softmaxで選択肢の分布を計算する。質問形式は選択式、Yes/No式、順序付き評価に対応する。prefix cachingを有効にすると、共有状態のprefill結果を再利用できる。エンジニアリング上は、分類処理で自由形式のテキスト解析に頼る度合いを減らせると考えられる。ただし、エンドポイントがデフォルトで有効だからといって、すべてのモデルが対応するわけではない。読み取り戦略がない場合は501が返される。バージョン別ドキュメント

確率フィールドの解釈にも注意が必要だ。選択肢間で正規化した後の高い確率は、モデルがもともと有効なラベルを出力する傾向にあることを意味するとは限らない。ドキュメントには label_mass も記載されており、語彙全体のうちラベルに割り当てられた確率の合計を示す。confidence は、この合計と選択された回答の占める割合を組み合わせた値だ。エンジニアはこれらの値もあわせて確認し、自社データでしきい値を検証する必要がある。確率の定義

再現性についてもテストが必要だ。公式情報によると、同じリクエストでも、バッチの組み合わせやprefix cachingのヒット状況によって確率が変わる場合がある。VLLM_BATCH_INVARIANT=1 を設定すると再現可能な読み取り値を得られるが、スループットは低下する。そのため、わずかな確率差で次の処理を決めるオンラインルーティングでは、バッチの変動によって判断が覆るかどうかを測定すべきだ。実行上の制約

アップグレードにあたって、0.32.0ではPython 3.10のサポートが終了し、デフォルトのCORSオリジンが厳格化されたほか、Responses APIの推論ストリーミングイベント名が変更された。運用担当者は、ベースイメージ、ブラウザーのオリジン設定、イベントパーサーを確認する必要がある。新しいエンドポイントが実際のコストやレイテンシを改善するかどうかは、対象モデル、質問数、キャッシュ条件を使って測定する必要があり、機能の説明だけから効果を推定することはできない。互換性に関する変更