AI 安全
科学的推論ベンチマークで「答えは正しいが、方法は誤り」——HLEでのショートカット解答率は37.4%
新たな研究により、モデルが数式の推測、列挙、あるいは答えを先に推測してから検証するといったショートカットを用い、問題で求められた導出を完了しないまま正解を得る場合があることが分かった。研究チームは、最終回答だけを照合すると最先端モデルの科学的推論能力を過大評価する可能性があると指摘する一方、自動監査器自体にも分類誤差が残るとしている。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
AI 安全
新たな研究により、モデルが数式の推測、列挙、あるいは答えを先に推測してから検証するといったショートカットを用い、問題で求められた導出を完了しないまま正解を得る場合があることが分かった。研究チームは、最終回答だけを照合すると最先端モデルの科学的推論能力を過大評価する可能性があると指摘する一方、自動監査器自体にも分類誤差が残るとしている。
最新模型
Faster-WAMは、30層の動画Transformerに1層のアクションヘッドを接続し、層横断KV融合によって世界モデルの表現を取得することで、アクションブランチがバックボーン全体の深さを複製する必要をなくした。研究ではFast-WAM比で3.2倍の高速化が報告されているが、新アーキテクチャのコードと重みはまだ公開されておらず、結果も主にシミュレーションベンチマークに基づいている。
代理工具
Irisは、候補解のツリーに沿ってコードを繰り返し修正するだけではない。まず重要な未知事項を調査し、実験をまたぐ証拠を、追加・更新・撤回可能な主張として整理する。論文によると、完全版MLE-Benchにおいて、直接比較対象の半分の時間でより高いメダル獲得率を達成した。ただし、システムのソースコードと完全な実行トレースはまだ公開されていない。
AI 基礎設施
AtumAIは、自然言語の要件を、目的、ハード制約、決定変数、評価方法を含む中間表現へ変換し、拡散モデル、進化的アルゴリズム、サロゲートモデルを組み合わせて戦略を探索する。研究ではワークロード配置、リソーススケーリング、電力管理での改善が報告されたが、結果はシミュレーターによるものであり、本番環境のコントロールプレーンを安全に引き継げることはまだ実証されていない。
代理工具
Harness-R1は、対象エージェントのモデル重みを調整するのではなく、別の9Bモデルを訓練し、そのコンテキスト、ツール、検証プログラムを修正する。3つの環境における平均成功率は44.3%から53.6%に上昇したが、パッチの安全性を検証できる公開コードはまだ提供されていない。
推論系統
xPressは、ブロック拡散ドラフトとターゲットLLMの間に1回の並列因果リファインメントを追加し、「各トークンは妥当だが、シーケンス全体としては不自然」であることによる早期棄却を抑える。研究報告によると、ドラフトの平均受理長は約30%増加したが、現時点では独立検証が可能な公開実装はない。
代理工具
HALTは、検索が完了したかどうかを生成モデルの確信度で判断するのではなく、マルチホップ問題に必要な各主張がエビデンスによって裏付けられているかを個別に検証する。凍結済みの検索エージェントに外付けできるが、実際の削減幅は、正確な中間主張を事前に生成できるかどうかに大きく左右される。
代理工具
新たな研究では、別のLLMにエージェントの各ステップを審査させる代わりに、ツール操作、レイテンシー、出力、token確率などのテレメトリーから軌跡の逸脱を検出する。システムのコストは1ステップ当たり約200マイクロ秒だが、導入環境ごとに正常な軌跡を用いた再キャリブレーションが必要となる。
GitHub Repo
PosterMELDは、論文解析、コンテンツ圧縮、レイアウト、品質修復をマルチエージェント・ワークフローに分割し、ネイティブのPowerPoint要素を保持したまま出力する。チームの自己評価では印刷準備完了率が81.3%に達したが、品質評価モデル、APIコスト、ベースライン設定については、なお外部検証が必要だ。
AI 安全
MicrosoftのMDASHが、同社初の自社開発セキュリティモデル「MAI-Cyber-1-Flash」のプレビュー提供を開始した。最も困難な作業のみをGPT-5.4に引き継ぐ。マルチモデルルーティングによってスキャンコストを削減する一方、攻撃コードの自動生成や本番環境へのパッチ適用は、権限管理と検証に関するリスクも拡大させる。
代理工具
GitHub Copilot cloud agentの自動化が、IssueとPull Requestのコメントを監視し、指定したテキストに応じてドキュメント更新やエラー調査などのタスクを開始できるようになった。議論からエージェント実行までの経路が短縮される一方、非公開の自動化設定、コメント入力、利用可能なツールが、新たな権限およびプロンプトインジェクションの境界を形成する。
代理工具
GitHubは、開発者がCopilot cloud agentのタスクを開始する際に、モデルと推論強度を同時に指定できるようにした。推論強度を高めることで、複数ファイルにまたがるデバッグやアーキテクチャ分析が改善する可能性がある一方、tokenとAI Creditsの消費量は増えるため、チームはコストと品質の基準を改めて構築する必要がある。