Xinference 3.4、prefill／decode 分離と worker 間のレプリカスケーリングを追加、モデルキャッシュの中断・再開にも対応

Xorbits は9月11日、Xinference 3.4.0をリリースした。今回の更新は、単に対応モデルを増やすだけでなく、クラスター展開に必要なデータパスとライフサイクル制御を整備することに重点を置いている。新版では prefill／decode 分離が追加され、入力プロンプトの処理と token 単位の逐次デコードを別々の worker プロセスに割り当てられるようになった。同時に、vLLM ネイティブの multiprocessing executor ルーティングと、複数 worker にまたがるレプリカのスケーリングにも対応する。長いプロンプトと短い回答、長時間の生成が混在するトラフィックを扱う運用者にとって、これらの機能は計算リソースを個別に構成するための手段となる。ただし、実際の効果はモデルサイズ、KV cache の転送、バッチ形状、ネットワークレイテンシーによって異なる。

モデル管理では、3.4.0に「ダウンロードのみで起動しない」フロー、再開可能なキャッシュ管理、既存キャッシュからモデルを直接起動する機能が追加された。また、`oci://` URI を通じて llmman serve にモデルの取得を委ねることもできる。これにより、オフライン環境、帯域幅に制約のあるノード、ローリングデプロイで、重みの転送とサービス起動を分離でき、大容量ファイルのダウンロード失敗時に最初からやり直すコストを抑えられる。新しい engine registration hooks により、バックエンド機能の登録も拡張しやすくなった。既存ドキュメントによると、Xinference でモデルを起動する際は、引き続き vLLM、SGLang、llama.cpp、Transformers、MLX のいずれかを明示的に選択する必要があり、モデル形式と量子化方式もエンジンとの互換性が求められる。クラスターモードでは、supervisor が各 worker のエンジン機能を集約する。

互換性に関する更新には、Gemma 4 の Transformers バッチ推論、MiniCPM5-2B、dots.ocr、MonkeyOCR、Fish Audio S1-mini／S2-Proのほか、マルチモーダル embedding と rerank 機能への対応が含まれる。台湾のユーザー向けには、Web UI に `zh-TW` ロケールも追加された。

一方、リリースページには prefill／decode 分離のトポロジー例、フォールトトレランスのセマンティクス、ベンチマークデータがなく、worker 間でスケーリングする際に処理中のリクエストをどのようにドレインするかも説明されていない。本番環境でアップグレードする前に、自身のプロンプト長の分布を用いて time to first token、デコードスループット、ノード間トラフィックを測定し、再開されたキャッシュのハッシュ、取得元、権限を検証すべきだ。「再開可能なダウンロード」は、サプライチェーンの完全性検証の代わりにはならない。