代理工具

Agent、MCP、coding agent、工作流自動化與評測。

代理工具

SWE-Bench ProMax、リファクタリング評価を7言語に拡大—最高性能のエージェントでも解決率は41.2%

SWE-Bench ProMaxは、29,782件の候補コミットから複数ファイルにまたがる170件のリファクタリングタスクを選定し、専門家が要件を書き直してテストを検証した。GPT‑5.2とOpenHandsの組み合わせが最高の解決率を記録したものの、実行軌跡からは、エージェントが周辺の呼び出し箇所や設定、テストファイルの変更を見落としがちであることが分かった。

推論系統

KVDiagnosis、KVキャッシュ圧縮の失敗をサンプル単位で追跡し、正解から不正解に転じた12,520件の事例を公開

KVDiagnosisは長文コンテキストの総合スコアを比較するだけでなく、各圧縮設定についてFullCacheとのペアを作成し、エビデンスの保持、アテンション、確率のドリフトを追跡する。チームは実装監査により、結果が完全に一致していたPyramidKVの7,800組の記録も除外し、手法横断の評価がアダプターの不具合によって容易に汚染され得ることを浮き彫りにした。

AI 安全

SHE、エージェントの実行軌跡から安全ハーネスを書き換え、攻撃成功率を17.1%から5.5%に低減

SHEはエージェントの安全ハーネスをシステムプロンプト、ルールベース、安全メモリ、ツールポリシーに分解し、失敗軌跡に基づいて局所的に改訂する。Agent-SafetyBenchでは攻撃成功率と誤拒否率を同時に低減したが、実環境への導入では評価器のバイアスやルールの自己肥大化を防ぐ必要がある。

最新模型

拡散型LLMの安全ニューロンはアーキテクチャをまたいで転移可能、プルーニングで拒否回避率が86.6%に上昇

新たな研究によると、自己回帰モデルを基に改造された拡散型LLMは、少数のニューロンに集中した安全機構も引き継いでいる可能性がある。研究者らはオープンな拡散モデルを使って攻撃プロンプトをオフライン生成したが、公開を約束している完全なコードはまだリリースされていない。

推論系統

Laguna S 2.1 INT4とDFlashを組み合わせ、RTX 3090×4枚で200Kコンテキストと最大282.5 token/sを実測

コミュニティが再現可能なvLLMレシピを公開した。24GBのRTX 3090を4枚使用してLaguna S 2.1 INT4をデプロイし、精度を揃えたDFlashドラフトモデルによって190K-tokenの実リクエストを処理している。282.5 token/sは特定の設定におけるピーク値であり、持続スループットではない。低ビット量子化の品質と互換性も、依然としてcheckpointと実行エンジンに大きく左右される。

代理工具

SkillProx、エージェントスキルを検証して再収束――Qwen3.6-27Bの表タスク精度が54.5%に向上

SkillProxは、モデルが提案したスキル変更をそのまま採用するのではなく、タスクを再実行し、性能が低下したバージョンをロールバックしたうえで、効用が負の知識ユニットを削除する。3種類のQwenモデルはいずれも表タスクで性能が向上したが、著者らが現時点で公開しているのは、コミットが2件しかない実質的に空のリポジトリだけだ。

最新模型

Meta、Muse Glimmer 30Bをオープン化:17GB量子化版とDFlashによりRTX 5090で233 token/sを達成

Muse Glimmerは、マルチモーダル入力、ツール呼び出し、失敗時の再試行を、コンシューマー向けハードウェアにデプロイ可能な30BのDenseモデルに統合した。Apache 2.0ライセンスの重みと公式GGUFはすでに公開されているが、性能および安全性の数値は現時点で主にMeta自身の評価に基づいている。

代理工具

A²E、23種類のベンチマークと9種類のエージェントシェルを統合、各評価セルは依然わずか5問

上海人工知能研究所がA²Eを公開した。Agent Task Protocolにより、ベンチマーク、エージェントシェル、軌跡評価を分離する。1,035回のペアリング実験から、シェルがツール使用とtokenコストに影響することが示された一方、サンプル数はフレームワークのランキングを裏付けるには不十分だ。

代理工具

TEPA、期限切れのエージェントメモリを取り消し、反転タスクの成功率を21.0%から95.0%へ向上

TEPAは長期メモリに取り消し可能な有効状態を導入し、新たな証拠によって覆された内容を通常の検索対象から除外しながら、監査記録として保持する。この手法はシングルホップの矛盾を解消できる一方、マルチホップや262Kの長大なコンテキストではほぼ機能しない。

RAG 與金融 AI

FinRank、6,021件の紛らわしいパッセージで金融RAGを評価、7B埋め込みモデルのRecall@10はわずか44.8%

FinRankは、単に数値的に正しい回答を生成するだけでなく、企業、期間、開示文脈のすべてが正しい証拠をSEC文書から見つけるようシステムに要求する。データセットと評価コードは公開されているが、非商用ライセンスとアノテーション上の制約が採用方法に影響する。