SURL AI News
繁中English日本語

Archive

GitHub Repo

GitHub 熱門專案、開源工具、框架、runtime 與重要 release。

代理工具

OSReward、コンピューターエージェントの評価モデルが失敗した軌跡を見逃しがちで、視覚的証拠が判定に与える影響は意外に限定的だと判明

OSRewardは、人手でレビューした1,019件のクロスプラットフォーム軌跡を用いて27種類の視覚言語評価モデルを検証し、主な誤りが未完了のタスクを成功と判定することだと明らかにした。ステップごとのテキストを除くと精度は平均7.2ポイント低下する一方、画面入力の変更による影響は小さく、既存の「視覚評価モデル」がエージェントの自己申告に依存している実態が浮き彫りになった。
代理工具

Tycho、インタラクションを通じてエージェントに世界モデルを記述させ、2つのフロンティアモデルがARC-AGI-3の全公開レベルをクリア

Tychoは未知のゲームルールを実行可能な状態遷移モデルとして記述し、検証結果に基づいてモデルを修正するか、迂回するかを判断する。ある公開セットでのテストでは、GPT-5.6 SolとClaude Opus 5が全183レベルをクリアしたが、結果は依然としてフロンティアAPI、単一回の実行、公開問題に大きく依存している。
代理工具

Echoverse、リセット可能なステートフルWebサイトでコンピューター操作エージェントを訓練——9Bモデルの評価スコアが67.1%に上昇

MicrosoftのEchoverseは、大量の表層的なWebサイト複製を追求するのではなく、データベース状態、因果的な結果、検証可能なタスクを備えた合成アプリケーションを構築する。12の環境で訓練した結果、9Bモデルは14のテスト分割全体で36.5%から67.1%に向上したが、公開版に含まれるのはそのうち4環境のみだ。
代理工具

MCP 2026-07-28、ハンドシェイクとセッションを廃止し、リモートツールサーバーをステートレスリクエスト方式へ移行

新版MCPでは、プロトコルバージョン、ケイパビリティ、クライアント情報を各リクエストに含め、`initialize`ハンドシェイクと`Mcp-Session-Id`を廃止する。水平スケーリングを簡素化できる一方、クライアント、サーバー、ゲートウェイルールを同時に更新する必要がある破壊的変更だ。
代理工具

Home Assistant 2026.8 Beta、llama.cppとLiteLLMをネイティブ統合――住宅向け会話エージェントを完全セルフホスト可能に

Home Assistantにllama.cppとLiteLLMの会話統合が追加され、モデルごとに個別のエージェントと指示を設定できるようになった。今回の更新でローカルモデル導入のハードルは下がるが、現時点ではまだbetaであり、エンドツーエンドのtool callingの信頼性はモデル、schema、ハードウェアに左右される。
最新模型

Mage-VL、動画の符号化情報を直接利用して視覚トークンを選択、ストリーミング・マルチモーダル推論を最大3.5倍高速化

MicrosoftのMage-VLは、動画フレームを均等にサンプリングする代わりに、I／P frame、motion vector、residual energyを利用し、変化の大きい領域だけをエンコードする。4Bモデルでは、静的タスクの能力を維持しながら視覚トークンを75%以上削減できるとしているが、速度と品質の比較は依然として主に公式テストに基づく。
代理工具

MemChain、検索後にエージェントの記憶を再構成し、エビデンストレースで回答モデルに渡すコンテキストを短縮

MemChainはベクトル検索の結果をそのまま言語モデルに渡すのではなく、まず計画・順位付け・圧縮を行い、出典に基づくアクティブメモリへ変換する。研究ではLoCoMoとLongMemEval-Sで最先端の結果を報告しているが、完全なコードや実環境でのレイテンシーコストはまだ公開されていない。
代理工具

CAPA、コーディングアシスタントのセッション横断記憶を評価：同一ユーザーの履歴で初回成功率が平均15.6ポイント向上

CAPAは、ユーザーが繰り返し省略する実装上の好みを600件の実行可能なコーディングタスクに組み込み、アシスタントが過去の会話から新たな要件を推測できるかを検証した。12モデルでは、同一ユーザーの履歴を追加しても最終成功率の上昇は平均6.8ポイントにとどまった一方、初回成功率は15.6ポイント向上した。これは、記憶が主に確認のやり取りを減らすものであり、失敗そのものを解消するわけではないことを示している。
代理工具

TREK、実行可能なルールで旅行エージェントを検証――最強モデルでも完全実行可能率は46.2%にとどまる

TREKは、LLMによる旅行計画の評価をやめ、エンティティ、予算、営業時間、交通手段、暗黙の要件を項目ごとに検証する。15種類のエージェントのうち最高性能のモデルでも、解決可能なタスクを完全に通過した割合は46.2%にすぎず、部分的に正しくても実行可能な旅程としてまとめることは依然として難しいと示された。
AI 安全

SecRespondが侵害後フォレンジックのワークフローを再現、23モデルはいずれも単一の演習環境を完全に検知・修復できず

SecRespondでは、セキュリティエージェントがクリーンな環境で攻撃課題を解くだけでなく、侵害されたホストの読み取り専用ディスクスナップショットを分析する。23モデルはアラートの内容を言い換えることはできたものの、アラートで明らかにされていないインプラントや修復の検証を総じて見落とした。
代理工具

CAM-DF、エージェントのツールランキングをコスト考慮型の停止判断へ転換し、ツール露出を37%削減

新たな研究によると、関連性ランキングで決められるのはツールの順序だけで、エージェントが何個のツールを読み込むべきかには答えられない。CAM-DFは読み込みを継続する限界便益を直接学習し、ほぼ同等のタスク成功率を維持しながらツール露出を37%削減する。
代理工具

OmegaUse-OfficeVal、オフィスエージェント評価にタスク別コストラベルを導入　最高性能モデルも品質では人間に3分の1超及ばず

百度（Baidu）の研究チームは、文書、スプレッドシート、プレゼンテーションに関する100件の長工程タスクを、人間の作業時間、価格の代理指標、実行可能な検証ツールとともに公開した。最高性能モデルの平均スコアは17.91で、人間のベースラインである27.79を下回った。推論が安価かつ高速でも、成果物をそのまま利用できるとは限らないことを示している。