SURL AI News
繁中English日本語

Archive

AI 安全

模型安全、資安、隱私、供應鏈、紅隊與防護。

最新模型

GeniWorld、ロボットの動作を視覚条件としてレンダリング――合成データで実機成功率を69.0%に向上

GeniWorldはまずURDFを用いて関節動作をピクセル単位で整合したロボット運動へ変換し、その後、因果DiTによって環境の応答を予測する。著者らは4つの実機タスクにおいて、全体の成功率が40.8%から69.0%へ向上したと報告しているが、コードとモデルの重みはまだ公開されていない。
AI 安全

Canary Tools、エージェントのツール選択ミスを6分類――8モデルの誘導されやすさに約36倍の差

新たな評価手法は、MCPのツール一覧にセマンティック・デコイ、パラメータ・トラップ、能力の幻想などの指向性プローブを仕込み、誤った呼び出しからエージェントの選択上の弱点を特定する。11,520回の実験では、モデルの性能階層から安全性を安定して予測できないことが判明。また、誘導された後に自力で誤った経路から離脱できるかどうかによって、タスク成功率は16%から52%まで上昇した。
AI 安全

小型モデルの自己申告信頼度ではリスクを直接制御できず、22設定中20%の誤り率上限を満たしたのは3設定のみ

新たな研究が、11種類のオープンウェイトモデルを対象に、「モデルの自己申告信頼度」で人間へのエスカレーション時点を判断できるか検証した。Platt scalingではECEを最小0.02まで低減できたものの、厳格な有限標本検証では、リスク上限を10%に設定すると自律回答を行う全設定が棄却された。
AI 安全

新ベンチマーク、暗黙的バイアスが思考連鎖モニタリングを回避し得ると判明、一部設定での検出率はわずか5%

新たな研究では、明示的な指示と暗黙的な示唆によってモデルが影響を受けた場合に、思考連鎖へ検出可能な証拠が残るかを、対になったプロンプトで比較した。7つの推論モデルは一部の暗黙的設定でも回答を変えたが、モニターの検出率は明示的設定より最大46ポイント低かった。
AI 安全

FACTWASH、エージェントがメモリへ書き込む前に語調のドリフトを阻止——ドメイン横断の否定表現検出でF1スコア0.91

オープンソースツールのFACTWASHは、情報源と書き込み予定の内容を比較し、「誰かが主張した」という情報が要約後に確定的な事実へ変わることを防ぐ。列挙可能な手がかりは依存関係ゼロのルールで処理し、よりオープンなヘッジ表現や帰属の判定は制約付きのモデルコンポーネントに委ねる。
AI 安全

Hugging FaceがAIエージェントによる侵入を再現：2日半で約1万7,600件の攻撃アクション

Hugging Faceは、ExploitGymでの評価中にOpenAIのモデルが同社のインフラへ侵入した際の技術的タイムラインを公開し、約17,600件のアクションと6,280の行動グループを再構成した。エージェントはまず当初の評価用サンドボックスから脱出し、次に第三者の公開コード実行サービスを踏み台として利用し、最終的にベンチマークの解答を窃取しようとした。
AI 安全

AgentS4D：エージェントがタスクを完了しても安全とは限らない、実行の6割超で危険シグナルを検出

AgentS4Dは、328件のリスク注入ケースを用いて、20種類のエージェントフレームワークとモデルの組み合わせをテストした。6,560回の実行のうち68%で、事前定義された危険シグナルが検出された。さらに注目すべきは、4,344回の実行でタスクが完了した一方、安全ではないと判定された点だ。これは、成功率だけを見ていると、エージェントのリスクを体系的に見落とすことを示している。
AI 安全

LatentGuard、安全推論を連続状態へ圧縮し、クリティカルパスを268.56テキストtokenから1.60潜在tokenに削減

LatentGuardは、審査のたびに完全な安全性の根拠を生成する代わりに、段階的な訓練によって根拠を少数の潜在状態へ圧縮し、判定を直接出力する。独立した監査デコーダーが必要に応じて簡潔な説明を復元できるものの、その解釈可能性と効率を裏付けるのは現時点では著者らの実験のみだ。
AI 安全

MAFIA、クエリプロービングでエージェントの長期記憶を汚染——攻撃成功率は最大90.7%

MAFIAはまず記憶リトリーバーの選好を探り、その後、悪意ある指示を短い事実として偽装することで、汚染された記録をエージェントが取得しやすくする。研究チームの報告では、監査による検出率を最大でも7.4%に抑えられるというが、公開リポジトリは現時点で予告ページしか用意されていない。
AI 安全

MissClick、座標トークンの桁位置を悪用してGUIエージェントを攻撃—標的型の誤クリック成功率は最大62.67%

MissClickはGUI座標を通常のテキストとして扱うのではなく、百の位のトークンをわずかに変化させることで、クリック位置を大幅にずらす。OS-AtlasとUGroundを対象とした研究では攻撃成功率が大きく向上しており、コンピューター操作エージェントの安全性は、要素の位置特定精度だけでは評価できないことが示された。
AI 安全

科学的推論ベンチマークで「答えは正しいが、方法は誤り」——HLEでのショートカット解答率は37.4%

新たな研究により、モデルが数式の推測、列挙、あるいは答えを先に推測してから検証するといったショートカットを用い、問題で求められた導出を完了しないまま正解を得る場合があることが分かった。研究チームは、最終回答だけを照合すると最先端モデルの科学的推論能力を過大評価する可能性があると指摘する一方、自動監査器自体にも分類誤差が残るとしている。