AI 安全
新ベンチマーク、暗黙的バイアスが思考連鎖モニタリングを回避し得ると判明、一部設定での検出率はわずか5%
新たな研究では、明示的な指示と暗黙的な示唆によってモデルが影響を受けた場合に、思考連鎖へ検出可能な証拠が残るかを、対になったプロンプトで比較した。7つの推論モデルは一部の暗黙的設定でも回答を変えたが、モニターの検出率は明示的設定より最大46ポイント低かった。
Archive
GitHub Repo
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
AI 安全
最新模型
HIVE、音声文字起こしはキーボードのタイプミスよりLLMの推論を損なうと確認—思考予算を増やしても回復せず
新たな研究では、音声文字起こしとQWERTYキーボード由来の摂動を用いて命令モデルを検証し、音声による構造の書き換えが一貫して回答性能を低下させることが分かった。推論予算を増やすことでキーボード入力経路の性能はほぼ回復したが、音声入力では同様の改善が得られなかった。
代理工具
GDPevo、ルール再構成でテストしエージェントの自己進化を検証――完全なプロンプトは依然として自律学習を30ポイント以上上回る
GDPevoは企業プロセスを原子的なルールに分解し、ホールドアウトされたテスト課題で再構成することで、エージェントが過去のタスクから転用可能な戦略を蓄積できるかを判定する。公開結果では自律的な進化による改善が確認されたものの、完全なルールを与えた場合の上限である91.6%にはなお遠く及ばない。
最新模型
オフラインTop-K蒸留で常駐教師モデルを排除、単一H200のスループットが最大41%向上
新たな研究では、教師モデルの少数のlogitsを事前にキャッシュし、チャンク化・融合KL kernelによって完全な語彙テンソルの生成を回避する。単一GPUで蒸留コンテキストを8Kから32Kへ拡張できるが、速度と品質に関する結論は、依然として限定的なモデルおよびハードウェア構成に基づいている。
代理工具
AI科学者の先行評価にレースカーとデッキを活用、GPT-5.2の166件のアイデアで実際のイノベーションに合致したのは10件
新たな評価手法では、まずモデルのアイデアを封印し、その後に登場するシーズン中の技術やプロ大会のデッキを遅延正解として使用することで、過去を振り返るベンチマークに伴うデータ汚染の懸念を軽減した。結果から、モデルにはもっともらしいアイデアが不足しているのではなく、真に有用な新規性を選別・組み合わせ・識別する能力がボトルネックであることが示された。
AI 安全
FACTWASH、エージェントがメモリへ書き込む前に語調のドリフトを阻止——ドメイン横断の否定表現検出でF1スコア0.91
オープンソースツールのFACTWASHは、情報源と書き込み予定の内容を比較し、「誰かが主張した」という情報が要約後に確定的な事実へ変わることを防ぐ。列挙可能な手がかりは依存関係ゼロのルールで処理し、よりオープンなヘッジ表現や帰属の判定は制約付きのモデルコンポーネントに委ねる。
代理工具
TurnSight、ツール実行結果で各ターンを振り返り、Qwen3-8Bの3ベンチマーク平均を42.02に向上
TurnSightは、最終的な成否をツール軌跡全体に一律配分するのではなく、後続のツール応答を利用して各ターンの意思決定を再評価する。著者らは4B・8Bチェックポイント、データ、学習コードを公開しているが、追加の教師モデル分岐によって学習コストは増加する。
最新模型
ParVL、共有バックボーンでマルチモーダルモデルを並列スケーリング——視覚と言語の計算資源を個別に配分可能
ParVLは完全なパラメータセットを複数追加するのではなく、同一のViTおよびLLMの重みを再利用し、ブランチ固有のKV prefixによって計算経路を区別する。研究では、タスクごとに必要な視覚／言語ブランチの比率が異なり、固定構成では推論計算資源が無駄になる可能性が示された。
代理工具
LiveEvalBench、エージェントにWebページを実際に構築・操作させ、フロントエンドのスクリーンショット照合だけによる静的評価を代替
LiveEvalBenchは、構築、コード、ブラウザ操作を担当する3種類のエージェントで証拠を収集し、各成果物で実際に動作する機能に基づいてチェック項目を生成する。フレームワークとデータは公開されているが、採点は依然としてLLMジャッジに依存しており、コスト、再現性、ジャッジのバイアスについては、さらなる定量化が必要だ。
AI 安全
MAFIA、クエリプロービングでエージェントの長期記憶を汚染——攻撃成功率は最大90.7%
MAFIAはまず記憶リトリーバーの選好を探り、その後、悪意ある指示を短い事実として偽装することで、汚染された記録をエージェントが取得しやすくする。研究チームの報告では、監査による検出率を最大でも7.4%に抑えられるというが、公開リポジトリは現時点で予告ページしか用意されていない。
AI 安全
MissClick、座標トークンの桁位置を悪用してGUIエージェントを攻撃—標的型の誤クリック成功率は最大62.67%
MissClickはGUI座標を通常のテキストとして扱うのではなく、百の位のトークンをわずかに変化させることで、クリック位置を大幅にずらす。OS-AtlasとUGroundを対象とした研究では攻撃成功率が大きく向上しており、コンピューター操作エージェントの安全性は、要素の位置特定精度だけでは評価できないことが示された。
最新模型
ReflectRL、専門家の誤答軌跡を訓練シグナルに変換――GRPOのクロスドメイン評価で平均19.1ポイント向上
ReflectRLは、強力なモデルが誤答した推論軌跡を破棄せず、学生モデルに局所的な誤りを特定させたうえで、そのヒントを段階的に取り除く。研究では9つのベンチマークで安定した性能向上が報告されているが、成果は主に数学的推論の設定で得られたもので、プロジェクトに記載されたGitHubリンクも現在アクセスできない。