METR、Anthropicの研究開発加速の証拠を審査　「2倍」の警戒基準には解釈の余地

METRは11月5日、Anthropicが8月に公表したリスク報告書の審査結果を発表し、7月15日時点でAIによる研究開発の加速が同社の「2倍」の警戒基準に達していた可能性があると指摘した。METRとAnthropicの関係研究者の多くは、当時は基準を超えていなかったとの見方を維持している。しかし審査によると、公表された報告書では判断に伴う不確実性が十分に示されていなかった。両者は、当時、モデルが自動化を通じて研究開発上の壊滅的リスクを直接もたらす度合いは低かった、という点では一致している。METRの審査

基準の定義は、結果の解釈を左右する。Anthropicの方針が測るのは、AI能力の進歩全体の速度だ。つまり、通常の基準で2年かかる進歩を1年で達成し、その加速のかなりの部分が研究またはエンジニアリングの自動化に合理的に帰属できることを指す。エンジニアのコーディング時間が半分になっても、それを能力の進歩速度が2倍になったとそのまま換算することはできない。人員、計算資源、アルゴリズム効率の変化も、それぞれ分けて扱う必要がある。Anthropicの原報告書、13ページ

測定方法の違いが、争点の中心にある。METRは非公開版の数値に基づき、先行指標の一つについて、中心推定値が過去の進歩速度の約1.97倍だったと推計した。妥当な別の定義や期間を用いると、推計値は1.3倍から2.8倍の範囲にわたる。これらの数値だけではAIの因果的な寄与を証明できないが、「2倍未満」という説明では、実際には基準に近かった可能性が見えにくくなる。一方、Anthropic自身も、具体性の高いタスク評価がすでに飽和し、能力の伸びを見分けにくくなっていると認めている。METRの審査、原報告書

研究チームにとって、この審査はタスク効率、モデル能力、研究開発のエンドツーエンドの成果を同時に追跡し、AIの支援がない場合の比較基準を明示する必要性を示している。これは報告書から導かれる実務上の示唆だ。今後は、飽和していない評価方法や指標の測定手法が公開されるかが注目点となる。METRが同日に公表した全体評価によると、最も参考になる証拠の大半は黒塗りで、現時点では外部の人々が結論を独立して再現するのは難しい。METRの全体評価