Open WebUI 0.12.5、会話の実行トレースを追加し、ストリーミング token の重複カウントを修正

Open WebUI は 10 月 29 日に 0.12.5 をリリースし、管理者向け分析機能を個々の会話の実行過程にまで拡張した。新しい Sessions ビューでは、モデル、token の範囲、サブエージェントなどの条件で絞り込み、保存済みの応答やツール呼び出しの所要時間と結果を確認できる。運用担当者は、使用量の異常を調べるだけでなく、どの段階で失敗したかも追跡できる。リリースノート

今回の更新では、コストの判断に影響する統計上の問題も修正された。一部のプロバイダーはストリーミングの各チャンクで usage を再送信するが、従来の処理では同じ数値が繰り返し加算され、応答と管理者向け分析の token 数が実際より多く表示されていた。新バージョンではプロバイダーへの呼び出しごとに数え、モデルがツールの使用に伴って複数回呼び出された場合は、各回の使用量を合算する。これは記録方法の修正であり、モデルの実際の消費量が減ったことを意味するものではない。リリースノート

公式ドキュメントでは、観測対象の範囲も説明されている。Sessions にはサブエージェント、タイマー、ノートの会話が含まれ、詳細画面では応答やツールの実行トレースを確認できる。ただし、一覧に表示される Span にはアイドル時間も含まれるため、推論のレイテンシとしてそのまま扱うことはできない。また、詳細なタイミング情報が保存されるのは新しい応答のみで、過去の会話について完全な所要時間を後から復元することはできない。分析ドキュメント

アクセス設定も導入に影響する。Sessions を使うには ENABLE_ADMIN_CHAT_ACCESS を有効にする必要があり、無効の場合、関連 API は 403 を返す。公式の説明によると、この種の管理設定は製品の UI と API でデータを閲覧できる範囲を制御するもので、管理者は引き続きデータベースやサーバーを通じてデータにアクセスできる。そのため、この設定を管理者からの隔離を実現するセキュリティ境界と見なすことはできない。設定ドキュメント

エンジニアリングチームにとって、これはエージェントの作業量や障害箇所を確認する新たな手段となる。ただし、導入後もプロバイダー側の使用量記録と照合する必要がある。usage が報告されない呼び出しに値が自動で補われることはなく、一部の呼び出しだけが数値を提供する場合は partial と表示される。コスト分析では、モデルの Usage 機能とバックエンドの報告動作を確認してからアップグレード前後の数値を比較し、統計修正を効率改善と取り違えないようにしたい。分析ドキュメント