ホームへ戻る

AI 安全

OpenAI、Astraの一部開発を停止:初期評価ではモデルが「Critical」レベルのサイバー攻撃能力に達した可能性を排除できず

OpenAIは、Astraのエージェント型コーディング能力とサイバー攻防能力が進歩したため、モデルが最高リスクの閾値を超えた可能性を排除できないと説明した。同社はテスト環境を隔離し、ツールとネットワークへのアクセスを制限するとともに、監視モデルでエージェントの推論過程と高リスクな行動を検査している。

European Commission - Photographer: Aurore Martignoni · CC BY 4.0 · Image source
zh-Hant

OpenAIは8月7日、未公開モデルAstraが最近の社内評価において、エージェント型コーディング能力とサイバー攻防能力の大幅な向上を示したと明らかにした。専門家の判断も踏まえ、同社は現時点で、Astraが《Preparedness Framework》の「Critical」閾値に達した可能性を「排除できない」としている。これは正式な能力認定ではなく、個別の評価スコアも公表されていないが、より厳格な開発管理を発動するには十分だと判断された。OpenAIはまた、Astraが過去のHugging Face侵害事件には関与していないと明確に説明している。

同フレームワークにおける「Critical」は、単にモデルがエクスプロイトコードの作成に長けていることを意味するものではない。ツールで強化されたモデルが人間の介入なしに、堅牢化された複数の現実の重要システムを対象として、深刻度を問わずゼロデイ脆弱性を発見し、攻撃を完遂できること、または高レベルの目標だけを与えられた状態で、新種のエンドツーエンド型サイバー攻撃を計画・実行できることを指す。これに対し、GPT‑5.6 Solの評価は「High」であり、このレベルでは既存の攻撃プロセスの自動化や、実用的価値のある脆弱性の発見が重視される。両者が想定する脅威モデルには大きな違いがある。

このためOpenAIは、新たな管理要件を満たしていないAstra関連の社内活動をすべて停止し、隔離されたテスト環境、制限付きのネットワークおよびツール権限、モデルウェイトの暗号化、サンドボックス、追加の検知機構を導入した。訓練や評価を含むすべてのAstraエージェント利用には、高リスク行動およびアラインメント逸脱を監視する仕組みも適用される。OpenAIによると、監視モデルはモデルのChain of Thoughtを検査し、必要に応じて処理を中断する。この設計は、モデルの推論監視を単なる入出力フィルタリングではなく、デプロイ時の安全管理策へと引き上げるものであり、エンジニアリングチームにとって注目に値する。

現時点で最大の制約は、依然として証拠をベンダーが握っていることだ。外部からはテスト環境、成功率、人間による支援の程度が分からず、「排除できない」という表現だけを根拠に、Astraがゼロデイ攻撃を安定して完遂できると結論づけることもできない。今後は、第三者機関や政府によるテストで、評価手法、誤検知率、再現可能な結果が公開されるか、また暗号化・難読化された状態や、テキスト以外で表現されるエージェント状態においても推論監視が有効に機能するかを注視すべきだ。

出典

  1. Responding to the next frontier of critical cyber capabilities
  2. Preparedness Framework v2