評測與資安
FuzzingBrain-Benchは標的脆弱性を指定せず、Claude Opus 4.8が77件の課題中60件でクラッシュを誘発
新たなベンチマークは、脆弱性を含む完全なプログラム、ファジングインターフェース、sanitizerをオフラインのDockerイメージに封入し、再現可能かつ互いに異なるクラッシュシグネチャに基づいて採点する。この設計ではモデルが偶然発見した欠陥も評価対象にできるが、現行の難易度係数は評価対象と同じモデル群から算出されており、ランキングには依然として循環性がある。
Texas A&M UniversityのチームはFuzzingBrain-Bench V1を公開し、LLMによる脆弱性評価を「既知のCVEを1件再現する」形式から、よりオープンなバグ発見タスクへ移行しようとしている。各課題では、脆弱性を含むバージョンの完全なプロジェクト、ファジングharness、sanitizer設定がエージェントに提供される一方、修正commit、標的となるコード行、参照用PoCは提供されない。エージェントは最大100ラウンド、30分以内に、できるだけ多くの種類のクラッシュを引き起こす入力を生成しなければならない。
ベンチマークは43件のオープンソースプロジェクトからなる77件の課題を収録し、そのうち36件がC、32件がC++、9件がJava／JVMを使用している。45件はメモリ安全性の欠陥に由来し、残りはメモリ枯渇、未捕捉例外、到達可能なassertion、未定義動作、アルゴリズム計算量などの問題を扱う。各候補入力はオフラインのDockerイメージ内で3回実行され、3回すべてで同じ位置に同じfault classを引き起こした場合にのみ得点となる。シグネチャはエラー種別と最大3つのアプリケーションstack frameから構成され、同一クラッシュを起こす重複入力の除外に使われる。採点はLLM judgeに依存しない。
著者らはClaude Haiku 4.5、Sonnet 4.6、Opus 4.8を対象に完全なテストを実施した。Opusは77件中60件の課題でクラッシュ入力を生成し、196／579点を獲得した。Sonnetは50件で156点、Haikuは35件で58点だった一方、13件はいずれのモデルも成功しなかった。Opusの全APIコストは約193米ドルで、Sonnetの253米ドルを下回ったが、Haikuの43米ドルを上回った。モデルごとにツールの使い方や早期終了の挙動が異なるため、コストをモデルの単価だけから推計することはできない。
公開されたMIT Licenseのリポジトリは、CLI、MCPインターフェース、Codex／Claude Codeバックエンド、解答を含まない課題イメージを提供しており、研究者がほかのモデルや従来型fuzzerを接続しやすくなっている。ただし、このシステムが確認できるのは「新たな再現可能なクラッシュシグネチャが出現した」ことだけであり、answer keyがなければ、それが独立した脆弱性、当初の標的欠陥、または悪用可能なセキュリティ問題に該当するとは証明できない。さらに重要な点として、5段階の難易度係数はこれら3つのClaudeモデルの成績に基づいて作成され、その後、同じモデル群の採点に使われている。複数のモデルファミリー、反復実行、外部のfuzzing baselineが導入されるまでは、196／579という結果を汎用的な脆弱性発見能力のランキングとみなすべきではない。