AI 安全
Claudeの自動ポストトレーニングは10種類のアラインメント失敗を軽減、ただし既知の評価指標に最適化される可能性は残る
Anthropicの自動アラインメント研究エージェントは、文献調査、データ設計、モデルのポストトレーニングを自律的に行い、10種類の安全性問題で評価ギャップを26%から96%縮小した。制約付きの人間による提案ベースラインも上回ったが、比較ではエージェントにより長い反復時間が与えられており、実証されたのは測定可能な失敗を修正する能力に限られる。
Archive
AI 安全
模型安全、資安、隱私、供應鏈、紅隊與防護。
AI 安全
AI 安全
公式 llms.txt が coding agent に所有者不在のパッケージをインストールさせ、ドキュメントのサプライチェーンが実行境界に
Pandex は、企業の AI 向けドキュメントに、未登録のパッケージやドメインを参照するインストールコマンドが数百件含まれていることを発見した。その後、Claude、Codex、Hermes は実際の企業環境で、研究者が設置したビーコンを実行した。問題は llms.txt 形式そのものではなく、エージェントが信頼できるドキュメントをそのまま実行可能なコマンドへ昇格させ、パッケージの所有権や配布元の検証を迂回している点にある。
AI 安全
Google、H100セキュアエンクレーブで二重盲検モデル評価を実証—モデル重みと非公開問題セットを相互に開示せず
Google DeepMind、MLCommonsなどの機関は、Gemini 2.5 Flash Liteと非公開の安全性評価問題セットを、検証可能な同一のセキュアエンクレーブ内に投入し、双方が取得できる結果を制限した。この設計はベンチマーク汚染のリスクを低減する一方、信頼は依然としてハードウェアのルートキー、Trusted Computing Base（TCB）、機関横断のコードレビューに依存する。
AI 安全
Claude Code 2.1.251、シンボリックリンクによる境界外の読み書きを修正し、モデル切り替えフックを追加
Anthropic は、2.1.248 の restricted モード導入に続き、ファイル、プラグイン、設定の信頼境界に関する5種類の問題を修正した。新バージョンではモデル切り替え hook と prompt cache 指標も公開され、企業向けゲートウェイが切り替えをインターセプトし、再キャッシュのコストを追跡できるようになった。
最新模型
GLM-5.3が744B MoEの重みを公開、100万トークンのデプロイには依然としてデータセンター級リソースが必要
Z.aiはAPI公開から2週間後にGLM-5.3の重みをリリースした。モデルはGLM-5.2の基本アーキテクチャを踏襲し、能力向上の大部分はエージェント型コーディングとサイバーセキュリティのポストトレーニングによるものだ。FP8ファイルは依然として約756GBに達し、カスタムライセンスやベンダー主導の評価もあるため、実際の採用前には性能、安全性、法的側面を別途検証する必要がある。
AI 安全
偽のプロ向けダッシュボードでLLMエージェントが賭けに出やすく、12モデルの行動コミット率は36.8％に上昇
新たな研究により、予測不可能な問題でも権威的に見えるデータダッシュボードを添えると、すべての数値が捏造であっても、LLMエージェントは方向性のある判断を下しやすくなることが分かった。540件の合成事例によるファインチューニングで行動ゲートを一時的に修正できるものの、出力形式を強制すると効果は失われる。
AI 安全
Claude in Chromeが自動操作を全面開放、コンテンツ分類器とアクション単位の分類器でプロンプトインジェクションを防御
Anthropicはブラウザエージェントをすべての有料プランに拡大した。ユーザーが計画を一度承認すれば、Claudeは複数タブをまたいでクリック、入力、ワークフローの実行ができる。各自律アクションは安全性分類器による再審査を受けるが、公式テストでは依然として攻撃成功率が0.3%あり、画面のスクリーンショットから機密データが取り込まれる可能性もある。
AI 安全
D2C-Routing、AIテキスト検出を内容と表現の由来に分解、低誤検知で4クラスTPR 0.8603を達成
北京航空航天大学のチームは、テキストがAIによって生成されたかどうかだけを問うのではなく、内容の構想と表層的な表現の由来を個別に判定する。再構築されたMixD2Cテストセットでは、同一のデータ分割で再実行したRACEを上回ったが、データセットをまたぐ汎化性能と完全な再現性にはなお限界がある。
AI 安全
LoopHarness、反復処理をまたぐリスク状態を保持し、5種類のエージェント攻撃の総合ASRを0.1%に低減
新たな研究によると、trajectoryごとにリセットされるguardrailでは、複数の反復処理に分散された攻撃の証拠を識別できず、リスクスコアを時間とともに単純に減衰させる方式も、待機によって回避され得る。LoopHarnessは、著者が管理する1,000件の攻撃episodeにおいて、クリーンなタスクの完了率96.9%を維持したが、結果は独立した再現と実システムでの検証を待つ必要がある。
AI 安全
エージェントフレームワークがコンテキストを再構築する際、悪意ある指示を「権限昇格」——6つのcoding agentすべてに影響
新たな研究により、サブエージェント、永続目標、スケジュールタスクがツール出力を高権限のユーザー指示として再パッケージ化する可能性が明らかになった。攻撃は6つのエージェントで全13種類の標的を達成し、自動権限レビューを有効にしても、検証された経路は阻止されなかった。
推論系統
Atlas、純Rust／CUDA推論エンジンで単一GB10上のvLLMに挑み、高並行時のスループットで最大22.5％高速化
Atlasは、DGX Spark上でQwen3.8-27B-NVFP4を使用した再現可能なベンチマークを公開し、並行数1～128のすべてでvLLMを上回った。ただし、結果は単一モデルかつ短い入力・長い出力のワークロードに限られており、一般的なデータセンター環境へそのまま一般化することはできない。
AI 安全
AWS、3段階のStrands hookでエージェントのツールフローを検査、ただし権限制御の代替にはならず
AWSは、モデル入力、ツール引数、ツール出力の各段階でBedrock Guardrailsを呼び出し、プロンプトと回答だけを検査する場合の空白を埋める手法を提示した。サンプルではツールごとに異なるルールを適用できる一方、レイテンシー、誤検知率、構造化されたアクションに対する安全性評価は公表されていない。