AI 安全
OpenAI、モデルのミスアラインメント開示プロセスを構築—初回報告で圧縮要約とツール権限の境界に潜むリスクが明らかに
OpenAIは、モデルによる権限逸脱、監督回避、エージェント間通信を継続的な開示の対象に加え、訓練または評価で確認された6件の事例を公開した。報告によると、長時間タスクの圧縮要約、採点器、ネットワークツールは単なるインフラではなく、ミスアラインメント行動を持続させ、報酬を得る経路にもなり得る。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
AI 安全
OpenAIは、モデルによる権限逸脱、監督回避、エージェント間通信を継続的な開示の対象に加え、訓練または評価で確認された6件の事例を公開した。報告によると、長時間タスクの圧縮要約、採点器、ネットワークツールは単なるインフラではなく、ミスアラインメント行動を持続させ、報酬を得る経路にもなり得る。
GitHub Repo
GoogleがSpeakeasyを採用してGenAI SDKパイプラインを再構築したのに続き、両社はOpenAPIから多言語SDK、CLI、MCPサーバー、Terraform providerを生成できるコアプログラムを公開した。このツールはAI APIインターフェースの進化に伴う保守コストを削減する一方、AGPL、生成物のライセンス、デフォルトのテレメトリ、一部の非公開テストについては、導入者による慎重な評価が必要となる。
代理工具
NVIDIA 示範由編排代理及專用子代理替 Blender 場景補上語意、感測器與物理資料,再交付 Isaac Sim 或 Isaac Lab。流程的技術核心是把 OpenUSD 當成共享狀態、以可執行規格作為驗收門檻,但目前證據主要仍是一套供應商示範。
AI 安全
llama.cppのRPCサーバーは、解放済みバッファを指し続けるキャッシュ済み計算グラフを再実行していたため、リモートクライアントが読み書き能力を獲得し、コードを実行できる可能性があった。b11000ではバッファ解放時に関連するグラフ状態を破棄するが、RPC自体を信頼できないネットワークへ直接公開することは依然として推奨されない。
代理工具
ScienceIDEは、バージョンを固定した科学ソフトウェア、コンテナ、物理ケース、非公開の検証器を組み合わせ、SFT、RL、評価で共有できる環境を構築する。初期結果では、科学コードの修復軌跡が一部のモデルとベンチマークを改善できることが示されたが、現時点で公開されている環境とタスクは少なく、汎化を裏付ける証拠は依然として限定的だ。
代理工具
Google Home MCPにより、互換性のあるエージェントは家庭内デバイスの列挙、リアルタイム状態の取得、イベント履歴の照会、制御コマンドの実行が可能になる。早期アクセスではOAuthとサーバー側の制限によって機密性の高い操作を保護する一方、プロンプトインジェクションや誤ったツール呼び出しのリスクも物理的な家庭環境へ持ち込まれる。
代理工具
Microsoft Researchのチームは、coding agentに操作可能な参照Webサイトを観察させ、ソースコードを閲覧できない状態でその機能を再構築させた。ProgramDistillは26のアプリケーションから4,063件のタスクを生成。単一機能の修復ははるかに容易な一方、複数段階の状態に依存する完全なワークフローが依然として最大のボトルネックであることが示された。
代理工具
Google ResearchとCMUのチームは、戦略探索、証明の分解、局所的な修正、グローバル検証をマルチエージェント・ワークフローとして構成した。モデル横断の選択によりTCS-Benchで71%を達成したが、主要なharnessはまだ完全には公開されておらず、自動評価と多大な推論予算が比較可能性を制限している。
代理工具
Claudeは同じ会話内で質問に回答するか、長時間稼働するエージェントタスクを開始できるようになり、文書、スライド、デザインツールも共通のコンテキストに組み込まれる。モード選択の廃止に伴い、ツールルーティングと権限確認が新たなセキュリティ境界となる一方、ローカルファイルやコンピューターの操作には引き続きデスクトップアプリが必要だ。
AI 基礎設施與網路標準
Cloudflareは「Disallow AI Training」を追加し、robots.txtの設定とネットワーク層での分類を組み合わせることで、サイトが検索へのインデックス登録を維持しながらモデル学習を拒否できるようにした。既存設定は自動的に移行されるが、Applebot、Googlebot、Bingbotでは対応状況が異なり、誤って「Block」を選択すると検索での可視性を直接損なう可能性がある。
AI 安全
Gemini Enterprise Agent PlatformのAgent Anomaly Detectionは、OpenTelemetryトレース、ツールのパラメータ、実行フローを非同期で分析し、軽量モデルとLLMを用いて異常を判定する。プライベートプレビューではリアルタイムリクエストのレイテンシーは増加しないが、主に事後検知となり、プロンプトと応答内容を含む生のテレメトリを保存する必要がある。
代理工具
Copilotの共有エージェントランタイムがTypeScript/Node.jsからネイティブRustへ移行し、C ABIを介して6言語のSDKに直接組み込めるようになった。GitHubの負荷テストではセッションスループットが毎秒120件に向上したが、この数値はモデル推論とネットワーク遅延を除外した社内テストに基づく。