Open WebUI 0.12.5、会話の実行トレースを追加し、ストリーミング時のトークン使用量の重複計上を修正

Open WebUIは10月29日に0.12.5をリリースし、管理バックエンドのAnalyticsにSessionsビューを追加しました。これにより、観測単位が会話ごとに細分化されます。管理者はモデル、トークン範囲、サブエージェントなどの条件で絞り込み、保存済みの応答やツール呼び出しにかかった時間と結果を確認できます。複数のモデルやエージェントのワークフローをセルフホストするチームにとって、使用量の統計から失敗したステップを追跡するための入り口となります。リリースノート

この機能には明確なアクセス制限があります。ENABLE_ADMIN_CHAT_ACCESSを有効にしないとSessionsは表示されません。公式ドキュメントによると、無効時には関連APIが403を返します。この画面では他のユーザーの会話タイトル、ツール呼び出し、エラー情報を扱うため、デプロイ担当者は、管理者に会話データの閲覧を許可する機能の一部として捉える必要があります。Analyticsのドキュメント

今回のリリースでは、ストリーミング時の使用量の集計方法も修正されました。プロバイダーがストリーミングの各チャンクでusage情報を再送すると、旧バージョンでは報告のたびに数値を加算し、単一の応答に対するトークン数や管理画面に表示される数値が実際より大きくなることがありました。修正後は、該当プロバイダーから最後に報告された値を採用します。これは内部での使用量の把握に影響しますが、プロバイダーの請求額が過剰だったことを意味するものではありません。リリースノート

運用上は、いくつかの指標を区別する必要があります。SessionsのSpanにはメッセージ間のアイドル時間が含まれるため、そのまま推論レイテンシとして扱うことはできません。トークン欄には未記録または一部記録であることが示され、詳細な所要時間も新しい応答についてのみ保存されます。そのため、アップグレードしても過去の会話に実行タイムラインが自動で追加されるわけではありません。Analyticsのドキュメント

運用チームが次に確認すべきなのは、実際に利用するモデルエンドポイントが安定してusageを返すか、また、ツールのエラーを追跡情報に十分な手がかりとともに残せるかです。公開されている機能を見る限り、新しい画面は問題の切り分けに役立ちます。コスト配賦やサービス品質の監視に十分かどうかは、自社のデプロイ環境のデータで確認する必要があります。