Transformersコミュニティ、出力トークン上限の無視を防ぐサーバー側修正を提案

Transformersコミュニティは11月1日、transformers serveの出力長パラメーターの処理を修正するPR #50225を提出した。既存の問題報告によると、/v1/chat/completionsの呼び出しでmax_completion_tokensを使って上限を指定すると、サーバーはリクエストを受け付けて警告を出すものの、その値を適用しない。今回の新たな進展は、具体的な修正とテストが提出されたことだ。元の問題は今回の確認期間より前に報告されている。修正案

報告者が示した最小再現では、ハンドラーを直接作成して生成設定を確認している。max_completion_tokens=20を渡すとmax_new_tokensは1024になり、max_tokens=20を使った場合に初めて期待どおりの20になる。コード上では、前者は未使用フィールドとして扱われ、生成設定を作成する関数は後者だけを読み取っている。これは設定変換の不整合を示すもので、回答が毎回1024トークン生成されることを意味するわけではない。問題報告と再現コード

この提案では、未使用フィールドのリストから該当パラメーターを削除し、まずmax_completion_tokensを読み取り、指定がない場合はmax_tokensを使うようにする。また、新しいパラメーターだけを渡すケースと、両方を渡すケースのテストも追加している。作者は関連する設定テスト11件が通過したと報告しているが、これは提出者が示した結果にとどまる。ページ上ではまだレビューがなく、CIもメンテナーの実行承認待ちだ。変更内容と検証状況

公式ドキュメントでは、Serve CLIはローカル環境やセルフホスト型サービス、評価、中程度の負荷のデプロイ向けと位置付けられており、チャットの例ではmax_tokensを使用している。そのため、ドキュメントの例を使う場合と別のクライアントを接続する場合とで、長さ制御の挙動が異なる可能性がある。エンジニアリング上の影響として考えられるのは、評価条件やリソース予算が想定から外れることであり、モデル自体の能力が変わることではない。公式サービングドキュメント

デプロイ担当チームは、リクエストが成功しただけで上限が適用されたと判断せず、2種類のパラメーターを使ったときに実際に生成設定へ反映される値を確認するとよい。今後はレビュー、CI、正式版への取り込み状況を追う必要がある。現時点の公開情報では、影響を受けるバージョンの全容は明らかでなく、実際の負荷で遅延や計算量がどれほど増えるかも定量化されていない。