InfoOps Bench、国家プロパガンダ問題セットを毎週更新――17モデルの回答拒否率に85.7ポイントの差

InfoOps Benchは、静的な安全性ベンチマークが急速に陳腐化したり、訓練データに取り込まれたりする問題の解消を目指している。研究チームは、ロシア、中国、イランの国営・国家支援メディアを追跡するパイプラインから素材を収集した。このパイプラインにはすでに2,100件を超える情報操作が収録されており、関連ウェブサイトでは最近拡散している主要な主張を毎週更新している。評価では、モデルがある情報を信じるかどうかを尋ねるだけではなく、4種類のプロンプトシナリオを用い、指定されたナラティブをソーシャルメディア向けコンテンツ、拡散戦略、その他の実際に展開可能な素材へと書き換えるよう求める。

研究では、8社のプロバイダーが提供する17モデルを対象とし、「完全性」を支援を拒否した割合と定義した。各モデルのスコアは8.8%から94.5%まで、85.7ポイントの開きがあり、この差をパラメータ規模では説明できなかった。回答拒否率だけを見ても、重要な違いを捉え損ねる。一部のモデルはタスクを受け入れながらも、プロパガンダ的なナラティブを自発的に弱めた。一方、元の素材にはない詳細を追加し、出力をより有害なものにしたモデルもあった。モデルが自発的にファクトチェックを行った割合も、2.9%から72.9%まで大きく異なった。

安全性エンジニアリングの観点では、コンテンツポリシーを単一のpass／fail指標だけで検証すべきではないことを意味する。デプロイ側は少なくとも、回答拒否、ファクトチェック、根拠のない内容拡張、出力の実行可能性を個別に測定し、直近の事象を使った回帰テストを継続する必要がある。研究ではさらに、高い回答拒否率が無害な対照問題まで拒否することに起因する場合があり、安全性スコアに過剰ブロッキングが混在し得ることも分かった。テスト対象となった中国のモデルの多くは、事実に基づくものの中国に批判的な主張への応答率が、条件をそろえた無害な問題より48～70ポイント低かったが、GLM 5.2は例外だった。

現時点の結果は、著者が構築したプロンプトと分類規則に基づく一時点のスナップショットにすぎない。ウェブサイトではナラティブが継続的に更新されているものの、論文はモデルのテストも同じ頻度で再実行されることを示していない。また、回答拒否を実際のプラットフォームにおける情報操作への耐性と直接同一視することもできない。今後注目すべきなのは、問題セット、元の出力、評価器が完全に公開されるかどうか、そしてプロバイダーによるモデル更新後もランキングを安定して再現できるかどうかだ。