AFANet、6.5万の学習可能パラメータでマルチエージェント障害を診断、ドメイン内推論を199秒から1.16秒に短縮

マルチエージェントシステムが失敗した際、一般的には完全な軌跡を別のLLMに渡し、どのエージェントがどの種類のエラーを起こしたかを特定させる。新たな研究で提案されたAFANetは、この種の診断は構造化分類問題に近く、高コストな生成的推論は必ずしも必要ないと主張する。

AFANetは各対話ターンをノードとして構築し、隣接するターン間に双方向の時間エッジを追加するとともに、同一エージェントによる異なる発言の間に長距離エッジを設ける。ノード特徴量には、位置や偏差などの統計的シグナルに加え、all-MiniLM-L6-v2が生成する文ベクトルも含まれる。2層のGCNでメッセージパッシングを行った後、エージェントごとのノードに平均プーリングと最大プーリングを適用し、「エージェントが障害を起こしているか」と「エラー種別」という2つの損失をそれぞれ最適化する。

ドメイン内データとして使用されたAEGIS-Benchでは、AFANetのエージェントレベルmicro-F1は74.16%、エージェント—エラーのペアリングmicro-F1は17.42%だった。後者は、論文で評価されたQwen、GPT-4.1、o3、Gemini 2.5、Claude Sonnet 4の各ベースラインを上回った。モデルの学習可能パラメータは約6.5万個にすぎず、V100での学習には1.1時間を要した。ドメイン内／ドメイン外の推論時間はそれぞれ1.16秒／0.37秒だった。一方、論文に記載された7B SFTベースラインは、学習に6時間、推論にそれぞれ199秒／108秒を要した。

ただし、効率に関する数値は慎重に解釈する必要がある。6.5万というパラメータ数には、凍結された文エンコーダーが含まれておらず、さらにグラフ構築の前処理に約80.8秒を要する。より重要なのは、モデルがAEGIS-Benchのみで学習されている点だ。Who&Whenに移すと、エージェントレベルmicro-F1は37.93%に低下し、ペアリングmicro-F1はわずか6.90%となった。これは、エラー分類が異なるデータ分布に対して依然として汎化しにくいことを示している。アブレーション結果でも、GNNを除去した場合、ドメイン内での差は小さい一方、ドメイン外では性能低下がより顕著だった。今後は、著者が完全な実装を公開するか、また人工的に整理または注入されたものではなく、自然に発生した本番環境の障害軌跡でも同様の速度と精度を再現できるかが注目される。