AI 安全
凍結したQwen3-8Bでも「能力拡張」が生じる――研究、自律的改善の評価に実測による帰無ベースラインの導入を要求
新たな研究により、1回限りのgreedy decodingと不安定な閾値によって、まったく訓練していないモデルが能力を獲得または喪失したように見えることが判明した。設問ごとの正確検定に切り替えると、3種類のself-trainingはいずれも既存能力を安定して強化しただけで、基盤モデルが一度も示さなかった新能力の獲得は実証できなかった。
Archive
AI 安全
模型安全、資安、隱私、供應鏈、紅隊與防護。
AI 安全
代理工具
Slack Code、コーディングエージェントを共有チャンネルに導入――diff表示、ライブプレビュー、人による承認に対応
SalesforceはSlack Codeを発表した。チームは会話からプロジェクト専用のCode Channelを直接作成し、エージェントが生成したコードを共同で監視、修正、承認できる。初期段階ではClaude、Devin、GitHub Copilot、ChatGPT、Vercel agentsと連携するが、セキュリティ分離、権限の粒度、APIの詳細はまだ完全には公開されていない。
最新模型
視覚エンコーダーだけを逆伝播させてVLMを攻撃、H100での生成時間を20分超から約100秒に短縮
新たな研究では、マルチモーダルモデル全体を逆伝播させることなく、入力画像のみを調整し、視覚エンコーダーの表現を元画像から乖離させるか、指定したターゲットに近づける。4つのオープンVLMすべてで非標的型攻撃の成功率が93%を超えたが、評価は単一のLLMジャッジに依存しており、ブラックボックスでの転移性能はまだ検証されていない。
AI 安全
VLAがエージェントの隠れ状態通信を監視、同一モデルによるオークション試験でAUROC 0.993
新たな研究では、エージェント間で受け渡されながら対話ログには記録されない連続ベクトルと、その後の公開行動を同一イベントに紐付け、異常検知、反実仮想的影響、スパース特徴の3層で検査する。平均0.993という結果には、テキストによる共謀と潜在状態による共謀の両方のサンプルが含まれ、攻撃も研究者が事前に設計したものであるため、自発的な密謀を検出する汎用能力とはまだ見なせない。
AI 安全
PACE、AIエージェントの取引承認をオンチェーンのバイト列に紐付け――サンドボックス試験で危険な実行率を0.80からゼロへ
PACEは、取引が安全かどうかを言語モデル自身に判断させるのではなく、取引意図、シミュレーション結果、実際のcalldataを決定論的ルールで検証する。署名済みのPolicy Decision Recordは実行前にスマートアカウントによって再検証されるが、現時点で失敗ゼロという結果が得られているのは、単純化されたDeFiサンドボックスに限られる。
AI 安全
2者間ディベートがRLAIFの報酬ハッキングを抑制、数学タスクにおける方策の最高精度は72.63%から74.74%へ
Google DeepMindの研究では、同一のGemini方策に問題解決者と批評者の役割をそれぞれ担わせ、より弱い凍結モデルに判定させた。ディベートは判定モデルの識別能力を維持し、RLVRとの差の約45%を取り戻したが、より多くの訓練ステップと批評文の長さ制限を必要とした。
AI 安全
医療LLM、患者への回答前にセルフケアを提案――短い指示で出現率が9／12から0／12に
新たな研究は、患者がまだ問題を明確に説明できていない初回接触の段階へ評価を前倒しした。「まず明確化し、その後に助言する」というシステム指示により、応答の順序と引き継ぎ要約は改善したものの、意思決定を左右する病歴を確実に聞き出すには至らなかった。
代理工具
AeroCopilotBenchは飛行手順を実行可能な状態機械に変換、最高性能のエージェントでも安全通過率は72.6%にとどまる
新たなベンチマークは、73件のコックピット異常時タスクを用いて、エージェントが状態を観察し、システムを操作しながら、全過程で厳格な安全制約を遵守できるかを検証する。単に航空知識の問題に回答させるものではない。GPT-5.6 Solが最高の成功率を記録したが、知識スコアが近いモデル同士でもタスク成功率は一致せず、静的な質疑応答ではインタラクティブな安全性テストを代替できないことが示された。
代理工具
Reconstruction、論文を隠して過去の参考文献のみを提示――複数モデルによる評価で研究アイデアの一致率が14.6%から35.6%に向上
新たなベンチマークでは、モデルに論文発表前から存在する参考文献だけを与え、非公開にされた論文の中核的な研究アイデアを逆算させる。4モデルによるクロスレビューとスイス式選抜で一致率は向上したが、候補数、評価モデル群、計算量は単一モデル条件と揃えられていない。
AI 安全
Model Hypnosis、無関係なテキスト手がかりの重ね合わせで推論モデルの二択回答確率を大幅に反転
新たな研究では、加法的な対数オッズモデルを用いて、言い換え、誤字、動物名、JSONフィールドがもたらす微弱なバイアスを測定し、同じ方向に作用する手がかりを組み合わせてプロンプトを作成した。最適化されたプロンプトの一部はモデル間で転移したが、現時点の実験は人為的に設計された二者択一問題に集中している。
AI 安全
CompoSkill、個別スキャンを通過したエージェントスキルも連携後には最大8割のリスクチェーンを形成し得ると報告
CompoSkillは、スキルの安全性を単一パッケージの判定ではなく、スキルをまたぐデータフローと副作用の経路問題として捉え直した。1,140件のテストでは、ホワイトボックス攻撃とブラックボックス攻撃によるリスクチェーン形成率がそれぞれ最大83.3％と80.6％に達したが、これは実環境での侵入成功率を意味するものではない。
AI 安全
コンプライアンス検出器、ルールを与えても主に文脈を読み、交差ルールテストではほぼランダムに
新たな研究により、複数のguard modelとactivation probeは、ルールを削除、シャッフル、置換しても判定精度がほとんど変わらないことが分かった。テキスト上のショートカットを排除するために設計された交差テストでは、高速な検出器の成績はランダムに近く、ルールと文脈を組み合わせる能力が明確に回復したのは、段階的推論モデルだけだった。