CTBench、234件の通信障害サンドボックスでエージェントを再評価――最高の根本原因分析精度でも47.62%にとどまる

HuaweiとQueen Mary University of Londonの研究者はCTBenchを公開し、通信ネットワーク運用の評価を静的な質疑応答から、対話型の障害診断へと転換した。データセットには126件の根本原因分析（RCA）タスクと108件の経路復元タスクが含まれる。15人の経験豊富な通信専門家が実際の事例を抽象化・匿名化し、その後、正解を知らない独立した専門家が改めて診断した。エージェントは各問題で許可された診断インターフェースのみを使用し、機器の状態、ルーティング、インターフェース、トンネル、ポリシーの出力を照会できる。

評価では最終回答だけを確認するわけではない。RCAは、障害ノード／オブジェクトの特定、標準化された原因ラベル、証拠カバレッジに分けて評価される。経路タスクでは、エンドポイント特定、転送エッジ集合のIoU、証拠F1を個別に算出する。さらに各問題には、可観測性、ベンダーと機器の異質性、プロトコルの複雑度、障害伝播の深さ、専門家による解決手順の長さが付与されており、「結果を推測して当てた」ケースと、診断を実際に完遂したケースを区別できる。

5つのエージェントとモデルの組み合わせのうち、Codex+GPT‑5.5が総合的に最高の結果を記録した。経路タスクの正解率は87.96%、エンドポイント特定は99.38%、経路IoUは95.28%だった一方、経路に関する証拠スコアは47.84%にすぎなかった。RCAでは差がさらに大きく、最終正解率は47.62%、原因特定は66.83%、障害箇所の特定は52.90%だったが、証拠スコアはわずか15.80%だった。これは、エージェントが症状から障害の種類を推測できても、修復を承認するのに十分な機器側の証拠を取得できていない可能性を示している。

部分的な可観測性とマルチベンダー環境は、この問題をさらに深刻にする。ClaudeCode+Qwen3.7‑Plusの場合、異質性の高い経路タスクの正解率は29.31%から4.00%へ低下した。部分的にしか観測できないRCAでは、より多くの間接的な証拠を収集したにもかかわらず、原因特定率は42.92%から16.22%へ低下した。エンジニアリングチームは今後、証拠収集の計画、ベンダーをまたぐ出力の正規化、安全な修復をエージェントループへ組み込めるかに注目すべきだ。現時点でこのベンチマークが対象とするのはRCAと経路再構築のみであり、実際のネットワーク変更はまだテストしていない。データページは公開されているが、ダウンロードには連絡先情報の共有への同意が必要で、独立した再現のハードルも高くなる。