ホームへ戻る

GitHub Repo

SGLang、ストリーミングエラーを成功生成として数える問題を防ぐベンチマーク修正を提案

SGLangコミュニティは11月14日、ネイティブのストリーミングリクエストが拒否された後も、ベンチマークで成功回数と出力トークン数に計上される可能性を報告した。修正案は別のコントリビューターがCPU上の模擬エンドポイントで検証したが、まだマージされておらず、正式リリースへの影響範囲は確認されていない。

Baycrest · CC BY-SA 2.5 · Image source
zh-Hant

SGLangのPythonオンラインサービングベンチマークで、誤ったカウントが発生する問題が見つかった。11月14日に投稿された報告によると、ネイティブの/generateインターフェースはHTTP 200ヘッダーを送信した後、入力がコンテキスト上限を超えたためストリーミングでエラーを返すことがある。それでもテストクライアントはリクエストを成功と判定し、指定された出力長を生成量に加算する可能性がある。問題報告

報告者が示したログでは、サーバーのコンテキスト上限が16,384トークンだったのに対し、13万トークンを超える入力が送られていた。拒否された20件のリクエストが成功として記録され、出力トークン数は合計2万とされたが、再トークナイズ後の実出力はゼロだった。つまり、レポート上の生成量がリクエスト設定に由来する可能性があり、エンジニアは成功回数だけでテストの有効性を判断できない。再現ログ

同日に提案された修正は、ストリームのトップレベルにあるerrorイベントを識別し、サーバーのエラーメッセージを保持したうえで、失敗したリクエストを成功トークン数とレイテンシ統計から除外する。別のコントリビューターは、ローカルのHTTP 200ストリーミングエンドポイントを使って独立に検証し、即時失敗、一部のテキストを出力してから失敗するケース、正常終了を確認した。修正適用後、成功として数えられたのは、成功と失敗が混在する3件のリクエストのうち1件だけで、失敗リクエストの部分的なレイテンシ記録も集計に含まれなかった。修正と検証の議論

公式ドキュメントでは、オンラインサービングテストはTime to First Token、出力トークンあたりの時間、スループットを測定するツールと位置づけられており、HTTPを介さないオフラインテストとは区別されている。この測定フローから推論すると、ストリーミングエラーの判定は容量評価やハードウェア比較に直接影響する。長いコンテキストの負荷テストを実施する際は、サーバーの拒否ログ、実際の出力、成功件数を照合する必要がある。公式ベンチマーク文書

確認時点で提案はまだオープンで、ページには複数のCI失敗も表示されており、正式な修正とみなすことはできない。現時点の証拠が対象としているのはネイティブのストリーミングベンチマーククライアントであり、すべてのバックエンドや既存の公開ベンチマーク結果に問題があるとは結論づけられない。今後はメンテナーのレビュー、マージ、リリースへの取り込み状況を追う必要がある。提案のステータス

出典

  1. Native serving benchmark counts a context-length stream error as a successful request
  2. Reject native generation stream errors
  3. Benchmark and Profiling