AI 安全
MaliciousSkillBench、9,740件のエージェントスキルを集約――ソース横断検出でMacro-F1が0.665に低下
新ベンチマークは、13の公開ソースから収集したエージェントスキルを重複排除し、構造ファミリー単位で分割することで、類似サンプルが訓練セットとテストセットの両方に混入するのを防いだ。最高性能のテキスト分類器はランダム分割で優れた結果を示した一方、未知のソースに対しては良性スキルの62.4%を悪意あるものと誤判定した。
Archive
GitHub Repo
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
AI 安全
代理工具
NemoClaw 0.0.113、ローカル推論の検証を強化し、サンドボックス再構築後のMCP認証情報の再発行に対応
NVIDIAはオープンソースのエージェント実行スタックを更新し、vLLM、llama.cpp、Ollama、モデルルーターにおける状態ドリフトへの対処を重点化した。新版ではサンドボックスのライフサイクル、イメージの出所証明、障害復旧も厳格化されたが、依然として急速なイテレーションの途上にあるパッチリリースだ。
代理工具
SWE-bench Scienceは20の科学分野を収録、最優秀のコーディングエージェントでも119問中47.90%しか解決できず
SWE-bench Scienceは、98の実在する科学ソフトウェアリポジトリを用いて、単位、座標系、数値的不変条件、ファイル形式などの暗黙的な契約を検証する。Claude CodeとOpus 5の組み合わせが暫定首位だが、pass@1は依然として50%未満で、エンジニアリング統合問題ではわずか27.78%にとどまった。
代理工具
Thinkingbox、バックエンド状態で507件の企業ワークフローを検証――最良のエージェントでも20回連続全問正解は25.25％
MicrosoftがThinkingboxをオープンソース化した。隔離されたMCPツール環境と実行可能なアサーションを使い、応答内容やツール呼び出しの正当性だけでなく、エージェントが実際に作業を完了したかを検証する。最良のシステムは単発成功率65.36％を記録したが、同一タスクで20回連続の成功を求めると25.25％にとどまった。
Task-CoEvolve、検証タスクを20%だけ抽出し、harness探索のtokenコストを67～80%削減
Task-CoEvolveは、候補harness間の過去の差異に基づいて検証タスクを動的に選択し、抽出確率を用いて全体スコアを推定する。Terminal-Bench 2.1では全量探索に近い性能を示したが、論文では探索と評価に同一のタスク群を使用しており、コードもまだ実際には公開されていない。
推論系統
KeysAndValues、固定32K KV cacheで4Bモデルを128Kコンテキスト向けに微調整
新手法により、モデルは微調整時にH2OなどのKV eviction戦略へ直接適応できる。128Kタスクの一部では、約20%〜64%だった精度が90%超に向上した。ただし、自然言語質問応答で常に優位なわけではなく、オープンソース実装も依然として研究用ツールと位置付けられている。
推論系統
ReCache、ツールschemaを再利用可能なKVブロックに分割し、割り当てメモリを92.43%削減
ReCacheは注意機構と位置エンコーディングを改変し、リクエスト間で個々のツールやスキルのKV cacheを再利用できるようにする。Qwen3の実験ではTime to First Token（TTFT）が最大3.655倍高速化したが、モデルのfine-tuningが必要であり、そのまま適用できる推論プラグインではない。
推論系統
FlashPrefill V2がブロック疎注意機構をSGLangに統合、128KプリフィルのTTFTを最大4.8倍短縮
Tencent WeChatと中国科学院のチームがHopper向け疎注意機構カーネルを書き直し、FP8、paged KV cache、continuous batching、枝刈りされたブロックの平均値補償を追加した。H20でのテストでは演算子単体で最大47.26倍の高速化を達成したが、エンドツーエンドの効果はそれより小さく、現時点での統合はプロジェクトに同梱されたSGLangブランチに依存している。
AI 可解釋性研究
Forking Fast、変化点検出で推論の分岐を再構成——解析用token予算を8分の1に削減可能
新手法は推論結果の分布を区分的に滑らかな系列として捉え、PELTで真の意思決定点を特定したうえで、Dirichletカーネルプーリングによりサンプリングノイズを抑制する。2つの8Bモデルを用いた実験では再サンプリングを大幅に削減できることが示されたが、現時点で結論が適用されるのはtinyMMLUの選択式問題に限られる。
GitHub Repo
EnvHarness、検証器を変更せずにエージェント訓練環境を再構成、ALFWorldのドメイン外性能を9ポイント向上
Google Cloud AI Researchなどのチームは、エージェントharnessの概念を環境側に適用し、組み合わせ可能なインターフェース層によって初期状態、可視情報、タスクフローを変更する手法を開発した。オープンソースの実験は5つのベンチマークを対象とし、最大9パーセントポイントの向上を達成したが、完全な結果の再現には複数の外部環境と商用モデルAPIが依然として必要となる。
代理工具
NVIDIA、CUDA MCPとセルフホスト型Nsight Blueprintを発表—4モデル構成のバックエンドを社内ネットワーク内で運用可能に
Nsight AIは、リアルタイムのCUDAドキュメントをCodexやClaudeなどのMCPクライアントに接続できるようになったほか、完全なコーディング支援バックエンドをローカル環境にデプロイできるようになった。オープンソースのBlueprintは、生成、補完、埋め込み、リランキングの各モデルを組み合わせるが、リファレンス構成にはHopper世代のGPUと少なくとも200GBのストレージが必要となる。
代理工具
Claude、computer use、Skills API、Files APIをGA化、ブラウザエージェントは要素単位の制御へ
Anthropicの新しいツールでは、1回のモデルターンで複数のインターフェース操作を実行でき、ページ構造、バージョン管理可能なスキル、永続ファイルも組み合わせられる。既存のbeta統合は引き続き動作するが、computer useツールをアップグレードするとリクエスト形式が変わるほか、エンジニアリングチームはブラウザの分離やプロンプトインジェクションのリスクにも自ら対処する必要がある。