Archive
模型安全、資安、隱私、供應鏈、紅隊與防護。
AI 安全
JailbreakSkillは、プロンプトの書き換え、失敗分析、スキル進化を統一インターフェースでカプセル化し、レッドチーム・エージェントが未成功の攻撃軌跡から新たな手順を生成できるようにする。第2段階により、AdvBenchとHarmBenchにおけるモデル横断の平均攻撃成功率は、それぞれさらに17.5ポイントと13.4ポイント上昇したが、評価はGPT-4oによる判定に依存している。
代理工具
英国のAI Security Instituteが、問題およびタスク単位の事後不確実性に基づいて反復評価の停止時点を決めるoptstopをオープンソース化した。9件のシャドーテストでは試行を平均81.1%削減したが、効果はスコア形式、問題の順序、交換可能性の仮定によって異なる。
AI 安全
Anthropicは、対応する新しいClaudeモデルがテキスト生成時に不可視のシグナルを埋め込み、生成ファイルには署名ベースの来歴データを付加できると説明した。一方で、短文、書き換え、翻訳は検出精度を低下させ、シグナルが見つからなくてもClaudeによる生成を否定できないと警告している。
最新模型
GCacheは、隣接するノイズ除去ステップ間の局所的な差異を比較するだけでなく、キャッシュ誤差が最終的な画像や動画に及ぼす累積的な影響を推定する。動的計画法でキャッシュの更新点を選択し、さらにBayesian optimizationによって理論上の重みを実際の生成品質に整合させる。
AI 安全
新版では、Linuxのmemory cgroupを使用して、エージェントが実行するビルドやテストにメモリ上限を設定できるようになり、暴走したプロセスがセッション全体を停止させる事態を防ぐ。Windowsの特殊パスによる検証回避、MCPの再接続ループ、サンドボックスのアイドル時にCPUの1コアを占有する問題も修正された。
代理工具
StateBridgeは、送信側エージェントの最終層のhidden stateを受信側のembedding空間に整合させ、連続的なprefixとして直接注入する。4つのオープンモデルによる26件のテストのうち22件で最高または同率最高の結果を達成したが、現時点では内部状態にアクセスできる同一モデルのエージェントに限られる。
AI 安全
新たなオープンソースプロトコルにより、エージェントは記憶、アイデンティティ、行動についてEd25519署名付きの監査可能な追記専用記録を作成でき、依存関係ゼロのオフライン検証ツールも提供される。永続記憶へのポイズニングを検出可能な完全性問題へと変える一方、記憶が当初から真実だったことは証明できず、IETF標準にもなっていない。
AI 安全
SkillMisevo-Benchは、エージェントが実行トレースからスキルを生成、検索、再利用する過程を追跡し、進化機能を備えた21種類すべての構成で安全でない成果物が書き込まれたことを明らかにした。SafeEvolveはその後の被害を軽減できるが、現時点でのエビデンスは4種類のCLIエージェントと、制御されたコンピューター操作タスクに限られる。
最新模型
Z.aiによると、GLM-5.3は再事前学習を行っておらず、コーディングおよびサイバーセキュリティ能力の向上は、すべて大規模化したポストトレーニングによるものだ。CyberGymでは84.5%の成功率を報告したが、ウェイトはデュアルユースリスク評価の完了後に公開される。
AI 安全
TopoIntent は、構造化 schema、アーキテクチャ検索、コンプライアンスチェックを用いて、曖昧な要件を Mininet と iptables のテスト環境へ変換する。ホールドアウトテストでは、自動修正によってトポロジーレベルの制御を補完できることが示されたが、未見のデータセットは 14 件にとどまる。
AI 安全
Synthetic Persona Pretrainingは、「価値憲章」に基づいて生成した一人称の内省を事前学習文書の約10%に組み込み、さらに後学習によってそのペルソナをアシスタントのidentityに結び付ける。新たに公開された完全な実験結果、weights、データは、早期介入が主として価値観の汎化を改善する一方、一般的なjailbreakへの耐性には必ずしもゼロからの介入が必要ではないことを示している。
AI 安全
RAGSieveは、信頼できるコーパスや事前にラベル付けされた汚染サンプルを必要とせず、クエリごとのランキング末尾と文書の局所的な意味近傍をそれぞれ比較する。オープンソースの実験は3つの質問応答データセット、3種類のリトリーバー、6種類の攻撃を対象としているが、流暢に書かれた単一の悪性文書や、すでに汚染された検索ランキング末尾は依然として検出をすり抜ける可能性がある。