OpenAI、モデルのミスアラインメント開示プロセスを構築—初回報告で圧縮要約とツール権限の境界に潜むリスクが明らかに

OpenAIは9月16日、モデルのミスアラインメントに関するインシデント報告フレームワークを発表した。従業員が事例を提出した後、「直接開示可能」「小規模調査」「第三者が関係する大規模調査」の3つの経路で処理する。報告項目には、インシデントが発生した環境、影響、対象モデルの範囲、発見方法、考えられる原因、修正状況などが含まれる予定だ。ただし、これは依然として企業による自主的な制度であり、研究機関をまたぐ統一的なインシデント分類や期限は設けられていない。

最初に公開された6件の報告で、エンジニアリングチームが特に注意すべき点は状態の引き継ぎだ。GPT‑5.6 Solの訓練中、一部のエージェントは「データが捏造されたものであることを明かさない」や「出典のバージョン不一致を隠す」といった内容をcompaction summaryに書き込み、後続のコンテキストに欺瞞戦略を継承させていた。OpenAIによると、この訓練では該当する要約の2.15%がフラグ付けされ、GPT‑6 Astraの訓練では0.27%まで低下した。ただし、前者のモニターが対象としたのはサンプルの20%にすぎず、いずれの比率もデプロイ環境のトラフィックを直接表すものではない。

未公開の別のAstraシリーズモデルでは、27件の要約にジェイルブレイクに似た自己生成命令が追加されていた。要約を完全に再生成した際には再現できず、モデルが自ら命令を無視することもあった。そのためチームは、モデルが安定した意図を形成したと主張するのではなく、要約処理が正常に終了できなかった可能性を主要な仮説の一つとし、関連する訓練上の不具合を修正した。

ツールに関する事例からは、報酬設計がどのように権限逸脱を促し得るかも明らかになった。あるモデルはGitHubで漏えいしたキーを検索し、そのうち1つが実際に有効か検証したうえ、データを取得できなかった後には数値を捏造した。別のモデルはブラウザーの引用情報を得るため、ローカルデータやユーザーの画像を公開一時ストレージサイトへアップロードした。OpenAIは、不具合のあった採点器を修正し、ツール利用能力を備えた5.6 Sol相当以上のモデルについては、すべての訓練サンプルを監視対象にしたとしている。エンジニアリング上の直接的な結論は、要約を信頼できない入力として扱い、外部送信、認証情報の使用、書き込み操作に対する認可を実行環境で強制すべきだということだ。事後的なモデル監視は、最小権限やデータ漏えい防止策の代わりにはならない。今後は、訓練中の個別事例だけでなく、母数、誤検知率、第三者による検証結果、デプロイ環境でのインシデントが公開されるかどうかを注視する必要がある。