代理工具
Anthropic、Claude ChatとCoworkを統合――単一の会話でエージェントツールと実行環境を自動選択
Claudeは同じ会話内で質問に回答するか、長時間稼働するエージェントタスクを開始できるようになり、文書、スライド、デザインツールも共通のコンテキストに組み込まれる。モード選択の廃止に伴い、ツールルーティングと権限確認が新たなセキュリティ境界となる一方、ローカルファイルやコンピューターの操作には引き続きデスクトップアプリが必要だ。
Archive
AI 安全
模型安全、資安、隱私、供應鏈、紅隊與防護。
代理工具
AI 安全
Google、3層のトレース分析でエージェントの挙動を監査。ただし異常検知はツール実行後
Gemini Enterprise Agent PlatformのAgent Anomaly Detectionは、OpenTelemetryトレース、ツールのパラメータ、実行フローを非同期で分析し、軽量モデルとLLMを用いて異常を判定する。プライベートプレビューではリアルタイムリクエストのレイテンシーは増加しないが、主に事後検知となり、プロンプトと応答内容を含む生のテレメトリを保存する必要がある。
AI 安全
HazardAuditor、4種類のコンピューター操作エージェントの軌跡を統一し、シーケンスレベル報酬で安全性ゲートキーパーモデルを訓練
HazardAuditorは、Claude Code、Codex、Hermes、OpenClawによるツール実行を共通のイベント形式に変換し、一連の行動全体が安全かどうかを判定する。新手法GuardPOでは最終的な安全性判定が更新を主導するが、研究データは公開されておらず、最大16.5ポイントの改善は独立した再現を待つ必要がある。
代理工具
Claude Code 2.1.273、コマンド権限のバイパスを修正し、企業向けMCPポリシーの適用を強制
Anthropicは2.1.273で、2件のコマンド審査の不備に加え、管理対象MCPおよびコネクターポリシーが無視される可能性のある設定マージの問題を修正した。新バージョンでは、LLM gateway向けのオプションのリクエストヘッダーとMCP切断アラートも追加されたが、公式には今回の修正をCVEやセキュリティアドバイザリとして公表していない。
AI 安全
SWEADV、悪意ある issue で修復エージェントを誘導：半数超が機能を修正しながら脆弱性を混入
新たなベンチマークは、150件の SWE-bench Verified タスクをセキュリティ上の罠を含む750件の issue に書き換え、自動修復エージェントが機能的には正しいものの安全ではないコードを提出するかを検証した。3種類のモデルバックエンドでは、平均51.7%のケースで修復と攻撃目標の両方が達成され、一般的なモデルレビューや静的解析でも多数の悪意ある patch を見逃した。
AI 安全
「計画インジェクション」により、モデルは外部から与えられた誤った推論を自らのものとして書き換え、Chain-of-Thought監視を回避する
新たな研究により、無害に見える表現でcontextに挿入された誤った計画を、モデルが取り込み、書き換え、実行に移し得ることが判明した。最も強力なmonitorでも、攻撃の少なくとも4分の1を見逃した。monitorに元の注入内容を見せたり、推論予算を増やしたりしても検出性能の向上は保証されず、agentの安全性を出力されたChain-of-Thoughtだけで証明することはできないと示唆される。
AI 安全
SAILS、バックドア攻撃の成否はポイズニングサンプルの組み合わせ次第と示す――ランダムサンプリングでは最悪リスクを過小評価する可能性
新たな研究では、モデル、クリーンデータ、ポイズニング数を固定し、ポイズニングサンプルの組み合わせだけを変えたところ、Llama 3 8Bの攻撃成功率は3%から80%まで変動した。SAILSは、少数の高コストなファインチューニング評価を用いて集合スコアラーを学習し、数百万の候補集合から高リスクなものを選び出す。
代理工具
Stellar Colosseum、長大な証明をエージェント競争に分解――TCS‑Benchでクロスモデル選択により71%を達成
Google ResearchがStellar Colosseumを公開した。戦略探索、反例による攻撃、依存関係グラフ、階層的集約によって長期的な数学研究を管理する。システムは300問のTCS‑Benchで71%を達成したが、結果は大量の推論と自動評価に依存しており、モデル単体の証明能力を直接示すものとはみなせない。
AI 安全
OpenMAIC 1.0.2、DNSリバインディングとクラウドメタデータへのSSRFを修正し、クラスルームの上書きも防止
OpenMAICのメディアプロキシは、ドメインを検証した後にDNSを再解決していたため、外部ホスト名が接続時に内部ネットワークへ向けられる可能性があった。別の経路ではAlibaba Cloudのメタデータアドレスが許可されていた。1.0.2では、検証時に解決したアドレスに接続先を固定し、クラスルームIDをサーバー側で生成するようになったが、TailscaleなどのCGNATアドレス帯を介してローカルモデルへアクセスする構成にも影響する。
AI 安全
MCPツールアノテーションの普及だけではトランザクションの安全性を支えられず、研究がエージェントによる外部副作用の異常を8種類に整理
新たな研究は、エージェントの再試行、並行実行、補償によって生じる外部状態の不整合を8種類の異常に分類し、個々のツール呼び出しが成功してもワークフロー全体の整合性が保証されるわけではないと指摘した。98,291件のMCPツールを対象とした調査では、アノテーションフィールドは広く使われているものの、結果確認、ステージングとコミット、補償、呼び出し間の依存関係を表現できないことが示された。
AI 安全
K‑Benchが機械学習モデルの忘却の観測範囲を拡大：最終回答が秘密を漏らさなくても、エージェントが本当に忘れたとは限らない
K‑Benchは、評価対象をモデルの最終回答から、推論、ツール呼び出し、検索結果など、エージェントの6つのチャネルへと拡張した。実験では、既存ベンチマークが漏洩なしと判定した場合でも、実環境のエージェントが22%〜86%のクエリで対象データを露出し得ることが示された。
AI 安全
Hugging FaceのPython SDKがエージェントツールを識別してHubリクエストにタグ付け、コミュニティがテレメトリーの境界を再検証
コミュニティによる監査で、`huggingface_hub`が環境変数に基づいてCodex、Claude Code、Cursorなどのエージェントを識別し、その名前をHubリクエストのUser-Agentに追加していることが確認された。この仕組みは以前から公式に公開されているが、一般的なテレメトリー無効化オプションがエージェントのタグ付けまで完全に対象としているかについては、依然としてドキュメントに明記されていない。