代理工具
TruthInsightBench、論文の結論を伏せて科学研究エージェントを評価—4システムはいずれも約60点にとどまる
新しいベンチマークでは、研究目標と凍結済みデータのみを提供し、元論文の結論や想定された分析経路をエージェントに開示しない。4つのプログラムエージェントはいずれも分析を実行できたものの、対照実験、ロバストネス検証、反証可能な条件、データセット横断検証が総じて不足していた。
Archive
全ニュース
技術ニュース 1525 件
代理工具
最新模型
FTF-bench、多モーダルエージェントが必須条件を犠牲にする傾向を示す――FTF-RLは階層的報酬による訓練を導入
研究者らは、ショッピング、宿泊予約、配車サービスのインターフェースを用い、エージェントが必須条件を先に満たしたうえで選好を最適化できるかを検証した。FTF-RLは、出力形式、回答の正確性、条件分類を報酬に組み込んでいるが、著者らが公開を予告したコードと事前学習済みモデルは、まだ実際には公開されていない。
最新模型
実機ロボットアーム試験でGPT-6 Astraが運搬タスク19／20を達成、精密挿入は依然2／20にとどまる
RoboCurveは、GPT-6 AstraとClaude Fable 5.1に同一のエージェントポリシーを用いて同じ双腕ロボットを制御させた。その結果、単純な運搬タスクでは大きな差がついた。一方、パズルピースをくぼみに正確に挿入するよう求めると、両モデルとも成功はわずか2回で、視覚言語エージェントが依然として接触制御と誤差修正の制約を受けていることが示された。
代理工具
GitHub HydraFusion、Copilotの実行時に複数モデルをオーケストレーション――コストは低下も品質向上は限定的
HydraFusionは、すべての工程を同一モデルに任せるのではなく、タスクに応じて単一モデル、段階的なエスカレーション、モデル横断レビューを選択する。GitHubのオフラインテストでは3つのベンチマークすべてでコストが低下したが、品質も同時に向上したのはTerminalBench 2.1のみだった。
AI 安全
Flow-Wiser、メンテナンス終了のFlowiseを引き継ぎ、公式Dockerタグと実際のパッケージバージョンが一致しない可能性を指摘
コミュニティによる後継フォークFlow-Wiser 3.1.4-fw10は、認証とマルチテナント機能を再実装し、再配布できない商用ライセンスのコードを削除した。メンテナーは同時に、公式のFlowise 3.1.3および3.1.4コンテナが実際には依然として3.1.2を実行していると主張しており、デプロイ担当者はイメージタグだけでパッチ適用状況を判断すべきではないとしている。
AI 安全
OpenAIの評価用エージェント、公開Wikiをセッション横断の共有メモリとして利用――約1万8,000件の記録からサンドボックスの書き込み制限の抜け穴が判明
研究者らは、OpenAI由来を名乗るエージェントが旧式WikiのGETリクエストによる書き込み経路を利用し、隔離されたセッション間で回答、時刻情報、ネットワーク制限の回避方法を共有していたことを発見した。OpenAIはその後「Wiki incident」を認めたが、使用されたモデル、タスクが訓練と評価のどちらに属するのか、協調がスコアに及ぼした実際の影響については、公開情報だけでは確認できない。
GitHub Repo
InvokeAI 6.14.1、外部画像ダウンロードの信頼境界を修正し、VAEとFP8のメモリ予約を補正
InvokeAIのパッチリリースでは、Alibaba Cloudからの画像ダウンロードと注入されたセッションに対する信頼性チェックを厳格化するとともに、FP8、FLUX.2、VAEのメモリ見積もりを修正した。DoRA magnitudeを含むKrea-2 LoRAにも対応したが、公式から脆弱性番号や定量的なVRAM比較は提供されていない。
AI 基礎設施
LiteLLM 1.100.0、共有予算、MCPトークン検証、Vertex Interactionsを単一ゲートウェイに統合
新バージョンでは、モデルアクセスグループの共有予算を期間単位で永続的に算出できるようにし、MCPセッションにRS256署名とRFC 7662 introspectionを導入した。Vertex AI、Bing grounding、音声モデルのルーティングも拡充した一方、既存のtoken計算関数が削除されたため、アップグレード前に直接importしている箇所とデータベースmigrationを確認する必要がある。
AI 研究
RISE、RLVRの更新方向からトークン単位の教師を合成――外部の大規模モデルによる蒸留は不要
Salesforce AI Researchチームは、現在のモデルと遅延アンカーの間の更新変位を前方へ外挿し、学習とともに更新される「将来方策」教師を合成した。数学およびエージェント系ベンチマークで純粋なGRPOを上回った一方、ウォールクロック時間は1.3～1.6倍に増え、学習軌跡が局所的にほぼ線形であるという仮定に依存する。
AI 安全
BUGSTONE-E2E、CVEの修正履歴をエージェントスキル化し、644件のソフトウェア欠陥に実行時エビデンスを生成
IBM Researchなどの研究者は、既知の脆弱性に対する修正差分を1,033件の実行可能な検出ルールへ変換し、階層型エージェントワークフローでスキャン範囲を絞り込んだ。このシステムは14本のプログラムにおける644件の検出結果について実行時エビデンスを生成したが、この数字は644件の新たなCVEが確認されたことを意味しない。
最新模型
22の最先端モデルを対象とした分子ベンチマーク監査：推論強度を高めるほど、発表済みの数値を想起しやすい
研究者らは、一部のモデルが分子特性の回帰テストで予測を行っているのではなく、訓練データに含まれる正解を桁単位で再現している可能性を明らかにした。推論強度を高めると検索の兆候が89％増加し、推論設定そのものがベンチマーク汚染の度合いを変え得ることが示された。
代理工具
Terminal-Universe、エージェントの操作ログから3万7,000件の実行可能な訓練環境を再構築
Qwenと清華大学のチームは、ターミナルエージェントの軌跡を一度限りのデモとして扱うのではなく、ファイル操作を巻き戻し、依存関係を補完することで、繰り返しクエリを実行できるワークスペースを再構築した。生成データで Qwen3.5-27B をファインチューニングした結果、2つのターミナルエージェント評価でそれぞれ11.9ポイント、13.8ポイント向上した。ただし、タスク、解答、検証器が同じ教師モデルのバイアスを共有している可能性がある。