SURL AI News
繁中English日本語

Archive

代理工具

Agent、MCP、coding agent、工作流自動化與評測。

推論系統

IOL-AI、未公開の言語学オリンピック問題で推論能力を評価：14Bモデルがデコード手順によりベースラインスコアを2倍超に向上

IOL-AI Challengeでは、少数の例から未知の言語の規則を導き出し、翻訳、転写、訂正を行うことがシステムに求められる。T4 GPU 1基という制約下で、最高提出は同一モデルのベースラインGMを9.40から19.79へ引き上げたが、金メダル水準に達したクローズドモデルとの差は依然として大きい。
AI 安全

PACE、AIエージェントの取引承認をオンチェーンのバイト列に紐付け――サンドボックス試験で危険な実行率を0.80からゼロへ

PACEは、取引が安全かどうかを言語モデル自身に判断させるのではなく、取引意図、シミュレーション結果、実際のcalldataを決定論的ルールで検証する。署名済みのPolicy Decision Recordは実行前にスマートアカウントによって再検証されるが、現時点で失敗ゼロという結果が得られているのは、単純化されたDeFiサンドボックスに限られる。
硬體

PTXBenchがLLMによるH100／B200専用PTXの直接生成を実測、最先端カーネルライブラリに安定して追いつけるモデルはなし

PTXBenchは、生成されたカーネルの正確性、指定された命令が実際に実行されたか、さらにcuBLAS、cuDNN、FlashInferに対する速度を同時に検証する。その結果、新アーキテクチャ向け命令を生成できても、それを実効的な高速化につなげられるとは限らず、特にB200のAttentionカーネルが難しいことが示された。
代理工具

StagedWorkspace、コンテンツハッシュでエージェントの解析ビューとネイティブファイルを同期し、OfficeQA Pass@1を8.3～12.1ポイント向上

新システムは、ドキュメントエージェントの検索結果、ネイティブファイル、diffビュー、最終提出物を明示的なバージョンに結び付け、古い解析内容を読んだエージェントが新しいファイルを編集する事態を防ぐ。固定したフレームワークでのアブレーションでは、解析ビューとネイティブビューを併用する方が、いずれか一方だけを使う場合より優れていた。一方、完全なコードとフレームワークをまたぐ再現結果は、まだ十分に提供されていない。
AI 安全

医療LLM、患者への回答前にセルフケアを提案――短い指示で出現率が9／12から0／12に

新たな研究は、患者がまだ問題を明確に説明できていない初回接触の段階へ評価を前倒しした。「まず明確化し、その後に助言する」というシステム指示により、応答の順序と引き継ぎ要約は改善したものの、意思決定を左右する病歴を確実に聞き出すには至らなかった。
代理工具

Agent Lightning v1.0、実運用のエージェントフレームワークを強化学習に直接統合し、Qwen3.5-9BのSWE-bench Verifiedを56.4%に向上

MicrosoftはAgent Lightningを全面的に書き直し、モデルAPIのプロキシ層を通じて既存のエージェントフレームワークの完全なインタラクションを取得できるようにした。ツールループをトレーニングエンジンへ移植する必要はない。公式発表によると、6,000件のデータでQwen3.5-9Bを訓練し、SWE-bench Verifiedのスコアを41.8%から56.4%へ向上させた。
代理工具

自己改善エージェント、タスク順序のランダム化で平均効果が+1.5%から-4.5%へ逆転

Salesforceが2種類のテキスト記憶手法を再評価したところ、自己改善ループを導入した設定の71%で、実行間のばらつきが増大した。暗黙に易しい順から難しい順へ並べられていた固定タスク順序をシャッフルすると、ReasoningBankはエージェントを改善しないばかりか、成功率を低下させた。
代理工具

AeroCopilotBenchは飛行手順を実行可能な状態機械に変換、最高性能のエージェントでも安全通過率は72.6%にとどまる

新たなベンチマークは、73件のコックピット異常時タスクを用いて、エージェントが状態を観察し、システムを操作しながら、全過程で厳格な安全制約を遵守できるかを検証する。単に航空知識の問題に回答させるものではない。GPT-5.6 Solが最高の成功率を記録したが、知識スコアが近いモデル同士でもタスク成功率は一致せず、静的な質疑応答ではインタラクティブな安全性テストを代替できないことが示された。
代理工具

Reconstruction、論文を隠して過去の参考文献のみを提示――複数モデルによる評価で研究アイデアの一致率が14.6%から35.6%に向上

新たなベンチマークでは、モデルに論文発表前から存在する参考文献だけを与え、非公開にされた論文の中核的な研究アイデアを逆算させる。4モデルによるクロスレビューとスイス式選抜で一致率は向上したが、候補数、評価モデル群、計算量は単一モデル条件と揃えられていない。
代理工具

BaT、エージェントの失敗段階に応じて強化学習を編成、9B方策のAutoMedBench-Liteスコアが19.9から53.4に向上

Benchmark-as-Teacherは、評価における段階別スコアを次の学習ラウンドのカリキュラムへ直接変換し、隔離された合成データによってテストの正解が更新に混入するのを防ぐ。論文では9B方策が標準的なGRPOを大幅に上回ったと報告しているが、完全な学習データはまだ公開されておらず、システム横断のランキングには異なる実行フレームワークが混在している。