Archive
Agent、MCP、coding agent、工作流自動化與評測。
AI 基礎設施
Microsoft Azureの研究により、エージェントがモデル推論、ツール、オーケストレーターの間を繰り返し切り替えることで、CPUが再びクリティカルパスに入り、その一方でGPUは頻繁にアイドル状態になることが示された。プロトタイプシステムのAgoraは、ワークフローの特性に応じて計算資源を回収できるが、並列エージェントへのGPU割り当てを誤って縮小すると、テールレイテンシがかえって16倍に悪化する。
最新模型
OctoLongは、単一のライブラリをそのまま連結して長いテキストにするのではなく、AST、言語サーバー、パッケージの依存関係をたどって実装を再帰的に収集する。研究チームは600Mから14Bまでのモデルを公開し、実験では依存関係が密なデータによってコード検索、状態追跡、API利用が同時に改善された。
代理工具
ABSeekerは、検索エージェントの最終的な成否をステップ単位の報酬に分解し、失敗軌跡に含まれる有効なクエリを保持する一方、成功軌跡内の誤ったステップを抑制する。チームは4Bモデルの重み、推論・訓練パイプラインを公開しているが、最高スコアの達成には依然として追加のコンテキスト管理とLLMジャッジが必要だ。
代理工具
新たな研究は、ミスマッチ、ゼロ化、ランダム化したKV cacheを用いてマルチエージェントの潜在コミュニケーションを再検証し、キャッシュの除去による大幅な性能低下が、受信側による送信側固有の情報の利用を必ずしも証明しないことを明らかにした。一部の自然な評価設定では、ゼロ化によって正解率が14.7ポイント低下した一方、別の問題のキャッシュに置き換えた場合の低下はわずか0.4ポイントだった。
AI 安全
新たな研究が、11種類のオープンウェイトモデルを対象に、「モデルの自己申告信頼度」で人間へのエスカレーション時点を判断できるか検証した。Platt scalingではECEを最小0.02まで低減できたものの、厳格な有限標本検証では、リスク上限を10%に設定すると自律回答を行う全設定が棄却された。
最新模型
WorldCycleは、アクションとその逆操作を組み合わせて閉ループを構成し、実際の未来動画を必要とせずに長期的な状態ドリフトを測定する。8B動画世界モデルを用いた実験では、サイクル誤差を最大44%低減し、複合アクション精度を0.136から0.553へ向上させた。
AI 安全
新たな研究では、明示的な指示と暗黙的な示唆によってモデルが影響を受けた場合に、思考連鎖へ検出可能な証拠が残るかを、対になったプロンプトで比較した。7つの推論モデルは一部の暗黙的設定でも回答を変えたが、モニターの検出率は明示的設定より最大46ポイント低かった。
最新模型
新たな研究では、音声文字起こしとQWERTYキーボード由来の摂動を用いて命令モデルを検証し、音声による構造の書き換えが一貫して回答性能を低下させることが分かった。推論予算を増やすことでキーボード入力経路の性能はほぼ回復したが、音声入力では同様の改善が得られなかった。
代理工具
GDPevoは企業プロセスを原子的なルールに分解し、ホールドアウトされたテスト課題で再構成することで、エージェントが過去のタスクから転用可能な戦略を蓄積できるかを判定する。公開結果では自律的な進化による改善が確認されたものの、完全なルールを与えた場合の上限である91.6%にはなお遠く及ばない。
新基準以可視辨識的真實實體測試視覺語言模型，發現只用文字做知識遺忘，效果不易轉移至圖片與跨模態問答。多模態遺忘可回頭通過文字測試，顯示單一文字評測可能高估刪除成效。
代理工具
新たな評価手法では、まずモデルのアイデアを封印し、その後に登場するシーズン中の技術やプロ大会のデッキを遅延正解として使用することで、過去を振り返るベンチマークに伴うデータ汚染の懸念を軽減した。結果から、モデルにはもっともらしいアイデアが不足しているのではなく、真に有用な新規性を選別・組み合わせ・識別する能力がボトルネックであることが示された。
AI 安全
オープンソースツールのFACTWASHは、情報源と書き込み予定の内容を比較し、「誰かが主張した」という情報が要約後に確定的な事実へ変わることを防ぐ。列挙可能な手がかりは依存関係ゼロのルールで処理し、よりオープンなヘッジ表現や帰属の判定は制約付きのモデルコンポーネントに委ねる。