言語をまたぐプロンプト変更でエージェントのツール経路が変化、4つの大規模モデルで行動方針の保持率は71～73%にとどまる

多言語エージェントの評価では通常、最終回答だけが比較され、レイテンシー、コスト、権限リスクを実際に左右する中間行動は見過ごされている。Microsoftの研究チームが新たに提案した測定パイプラインでは、5つのツール名からなる共通の記号化行動空間を構築。6つの並列ベンチマーク、41言語、8モデルを使って2,382,875回のrolloutを生成し、同一タスクを同じ言語で再実行した場合と、異なる言語で実行した場合の軌跡を比較した。

軌跡の類似度を直接計算すると、短い軌跡や空の軌跡、偶然の一致、モデル自体の不安定性による影響を受けやすい。そこでチームは空の軌跡を除外し、軌跡長を揃えたうえで、言語間の一貫性を同一言語内での再現性で割り、「正規化方針保持率」を算出した。温度をゼロに設定した場合、Gemma 3 27B、Sarvam-M、Qwen3-235B-A22B、Llama 4 Maverickはいずれも71～73%という狭い範囲に収まった。モデルの違いで説明できる分散は5.7%にすぎず、ベンチマークの違いは26.9%を説明した。一方、パラメータ数が10B未満のモデルでは同じ傾向は見られず、偶然の一致を補正しなければ、小規模モデルの順位が逆転する場合さえあった。

軌跡からは、非英語の入力が一般に英語をハブとして経由していることも分かった。改変ベンチマークではTranslateが最も多く使用されたツールであり、推論テキストの約99%がASCIIだった。翻訳ツールを削除すると、それまでの使用頻度に応じて言語間の一貫性が低下した。また、モデルに翻訳しないよう直接指示しても、その遵守率は1%未満だった。

評価パイプライン自体にも別の警告材料がある。多言語出力に適さない正規表現が偽の失敗を発生させていたことがあり、2つの例を追加しただけで、あるモデルの解析可能な出力に対する精度は26倍に向上した。一方、人間が読める出力はほとんど変化していなかった。

エンジニアリング上、英語で検証済みのツールポリシー、コスト見積もり、安全性テストを、そのまま他言語へ外挿することはできない。行動シーケンス、言語内での再現率、解析失敗を同時に記録すべきだ。今回の制約は、すべてのツール呼び出しが実際には実行されておらず、APIレスポンス、リトライ、状態変更、権限に伴う影響がまだ測定されていない点にある。論文はコードを公開したとしているが、現時点でGitHubリポジトリは空のままで、直接確認できるのはHugging Face上のベンチマークデータのみである。