Grafana Agent Observabilityが正式提供開始、オープンソースSDKでオンライン評価とエージェントCIを連携

Grafanaは7月30日、Agent ObservabilityをGrafana Cloudで正式提供すると発表した。エージェント監視を「token数とレイテンシの確認」から、デプロイプロセスに組み込める品質管理へと拡張する狙いだ。オープンソースのagento11yリポジトリでは、Go、Python、JavaScript／TypeScript、Java、.NET向けSDKを提供するほか、Anthropic、OpenAI、Geminiのプロバイダーインターフェースと、LangChain、LangGraph、OpenAI Agents、LlamaIndex、Google ADK、Strands、LiteLLM、Pydantic AI、Vercel AI SDKなどとの統合も用意している。SDKは標準OTLPを介してtracesとmetricsを出力し、会話およびgenerationデータは専用のingestへ送信する。これにより、プラットフォーム上でバージョン、コスト、ツール呼び出し、評価を関連付けられる。

今回、技術面で特に重要なのは、本番環境で発生したインシデントを再実行可能なテストへ変換できる点だ。チームは本番トラフィックに対し、JSONや正規表現などによる決定的なチェックを適用できるほか、LLM-as-a-Judgeを使ってprompt injection、PII、毒性、タスク完了度を評価できる。低スコアの会話はcollectionに収集し、人手でアノテーションしたうえでtest suiteに追加できる。SDKは同じテストケースでオフラインexperimentsを実行し、prompt、model、toolのバージョンを比較できるほか、pull request内でCIゲートとして機能させることも可能だ。本番環境の評価が悪化した場合、その結果をGrafana metricsとアラートに変換し、差異の原因となったエージェントのバージョンまで追跡できる。

プライバシー設計については、特に慎重な確認が必要だ。アプリケーションSDKはデフォルトでgenerationメッセージ全体を送信する一方、tool parametersとtool resultsは送信しない。コーディングエージェント向けプラグインは、デフォルトではmetadataのみを送信する。それでも企業は、prompt、ユーザー識別子、データ保持、越境データ移転に関するポリシーを自ら確認する必要がある。もう一つの制約は、LLM-as-a-Judge自体が不安定であることだ。GrafanaはGA版について、評価精度、追加レイテンシ、ストレージコストに関する独立したベンチマークを公表していない。オープンソース化されているのはSDKとプラグインであり、会話の集約、評価管理、ユーザーインターフェースは依然としてGrafana Cloudに依存する。エンジニアリングチームは今後、OTel GenAI Semantic Conventionsとの互換性、各SDK間のデータ整合性、そしてCI評価が本番トラフィックにおける回帰を実際に予測できるかを注視すべきだ。