SURL AI News
繁中English日本語

Archive

AI 安全

模型安全、資安、隱私、供應鏈、紅隊與防護。

AI 基礎設施

AtumAI、データセンター制御戦略を検索可能な仕様へコンパイルし、3種類のタスクすべてで人手によるベースラインを上回る

AtumAIは、自然言語の要件を、目的、ハード制約、決定変数、評価方法を含む中間表現へ変換し、拡散モデル、進化的アルゴリズム、サロゲートモデルを組み合わせて戦略を探索する。研究ではワークロード配置、リソーススケーリング、電力管理での改善が報告されたが、結果はシミュレーターによるものであり、本番環境のコントロールプレーンを安全に引き継げることはまだ実証されていない。
代理工具

Harness-R1、エージェントの失敗軌跡から実行フレームワークの修正を学習——Qwen3.5-9Bの成功率が9.3ポイント向上

Harness-R1は、対象エージェントのモデル重みを調整するのではなく、別の9Bモデルを訓練し、そのコンテキスト、ツール、検証プログラムを修正する。3つの環境における平均成功率は44.3%から53.6%に上昇したが、パッチの安全性を検証できる公開コードはまだ提供されていない。
AI 安全

MAI-Cyber-1-Flashがプレビュー提供開始、小型特化モデルが脆弱性分析作業の9割を担う

MicrosoftのMDASHが、同社初の自社開発セキュリティモデル「MAI-Cyber-1-Flash」のプレビュー提供を開始した。最も困難な作業のみをGPT-5.4に引き継ぐ。マルチモデルルーティングによってスキャンコストを削減する一方、攻撃コードの自動生成や本番環境へのパッチ適用は、権限管理と検証に関するリスクも拡大させる。
AI 安全

CAGE、エージェントのツール応答に結合認可証明を導入し、フィールドの誤バインディングと数値ドリフトによるゲート回避を防止

CAGEは、エージェントがその時点で参照しているツール応答だけでなく、正しくバインドされた可能性のある結果の集合すべてが同じアクションを許可するかを検証する。研究では、カテゴリフィールドと数値誤差を個別に検査しても、両者が同時に変化した際の安全性は保証できないことが示された。
GitHub Repo

Open Secure AI Allianceが発足、NVIDIAはNOOAでエージェントのテスト、トレーシング、監査ツールを推進

NVIDIA、Linux Foundation、Hugging Face、Microsoftなどの組織がOpen Secure AI Allianceを設立し、オープンなモデルとツールを用いてエージェントおよびAIソフトウェアの脆弱性に対処する。初期の具体的な取り組みにはNVIDIAのNOOAフレームワークが含まれるが、共通仕様、ガバナンスプロセス、提供スケジュールはまだ発表されていない。
AI 安全

SafeKeep、ツールschemaがモデルの拒否シグナルを弱めることを発見—プロンプトインジェクション成功率を2.5%に低減

新たな研究によると、エージェントが使用するJSON形式のツール仕様は単なる中立的なインターフェースではなく、モデル内部の拒否表現を弱める可能性がある。SafeKeepは実行前に、平文化したテキスト仕様を用いて安全性を別途判定し、有害な要求に対する平均拒否率を23.8%から70.6%へ引き上げた。
AI 安全

OWASP Agentic Skills Top 10、v1の公開レビューを完了し、スキルのサプライチェーンを独立した攻撃対象領域に位置付け

OWASPの「Agentic Skills Top 10」v1ドラフトが公開レビューを終え、悪意あるスキル、過剰な権限、依存関係の混同、クロスプラットフォーム移植のリスクを10種類の管理項目に整理した。このフレームワークは、スキルをモデルとMCPツールの間に位置する振る舞いのレイヤーとして捉え、権限、出所、完全性を宣言できる共通フォーマットを提案している。
AI 安全

Google Earth、画像生成機能を公開翌日に撤回—SynthIDでも偽衛星画像の流出を防げず

GoogleはNano Banana 2を実在の地理画像に統合したが、ユーザーはすぐに爆発や空爆など架空の場面を生成し、そのスクリーンショットを拡散した。同社は翌日、この機能を撤回した。生成結果にはウォーターマークが付与され、共有地図にも書き込まれないものの、今回の事例は、出所表示だけでは入力制限やインターフェースの分離の代わりにならないことを示している。
AI 安全

5つのオープンウェイトモデルの自己申告信頼度はほぼ一定、低信頼度優先の監査はランダム抽出と同等の可能性

新たな研究は、限られた人的予算でエージェント群の監査をシミュレーションし、自己申告信頼度の歪みによってランキング戦略がランダム抽出を下回る臨界点を特定した。5つの小・中規模オープンウェイトモデルでは、2つのベンチマークにおける信頼度のAUROCが約0.5にとどまったが、この結論は単一のプロンプトと直接回答という設定に基づく。
AI 安全

DFOT、導出センサー値に対するLLMの過信を定量化——クロスモーダル蒸留で訂正率が最大6.69ポイント向上

新たなフレームワークは「モデルが導出値を誤って信頼する」問題を、矛盾受容、文脈による誤誘導、誤りの訂正、効用低下などの指標に分解する。PPGによる心調律判定を事例に、訓練時にECGを利用し、デプロイ時にはPPGのみを必要とする信頼度モデルが4つのエンドポイントを改善した。ただし、データと重みはコードとともに公開されていない。
AI 安全

Microsoft、5Bのアクティブパラメータを持つセキュリティモデルで脆弱性分析をルーティング、MDASHがCyberGymで95.95%を記録

MAI-Cyber-1-Flashは137BパラメータのスパースMoEだが、各tokenでアクティブになるのは約5Bに限られる。MDASHの処理の約9割を担い、難しいケースをGPT-5.4に引き渡す。Microsoftは新構成でコストがほぼ半減したとしているが、現時点ではAzure AI Foundryのプライベートプレビューでのみ提供され、ベンチマークも外部では再現されていない。