GitHub Repo
SGLang 提出基準測試修補,避免串流錯誤被計為成功生成
SGLang 社群於 11 月 14 日回報,原生串流請求遭拒後,基準測試仍可能計入成功次數與輸出 token。修補已有另一位貢獻者以 CPU 模擬端點驗證,但尚未合併,正式版本影響範圍仍待確認。

SGLang 的 Python 線上服務基準測試出現錯誤計數問題。11 月 14 日提交的回報指出,原生 /generate 介面在送出 HTTP 200 標頭後,若因輸入超過上下文上限而透過串流回傳錯誤,測試客戶端仍可能將請求判為成功,並把要求的輸出長度計入生成量。問題回報
回報者提供的紀錄顯示,伺服器上下文上限為 16,384 token,卻接收到超過 13 萬 token 的輸入;20 筆遭拒請求被記成成功,累計兩萬個輸出 token,但重新分詞後的實際輸出為零。這表示報表中的生成量可能來自請求設定,工程師不能只憑成功次數判斷測試是否有效。重現紀錄
同日提出的修補會辨識串流頂層的 error 事件、保留伺服器錯誤訊息,並將失敗請求排除於成功 token 與延遲統計之外。另一位貢獻者以本機 HTTP 200 串流端點獨立檢查,涵蓋立即失敗、先輸出部分文字再失敗及正常完成;套用修補後,三筆混合請求僅計入一筆成功,失敗請求的部分延遲紀錄也未進入彙總。修補與驗證討論
官方文件將線上服務測試定位為量測首 token 延遲、每輸出 token 時間及吞吐量的工具,與略過 HTTP 的離線測試分開。因此,從量測流程推論,串流錯誤判定會直接影響容量評估與硬體比較;執行長上下文壓測時,應交叉核對伺服器拒絕紀錄、實際輸出及成功數。官方量測文件
截至查核,提案仍開放,頁面亦顯示多項 CI 失敗,尚不能視為正式修復。現有證據聚焦原生串流基準客戶端,不能據此推定所有後端或既有公開成績都有問題;後續應追蹤維護者審查、合併與版本納入情況。提案狀態