ホームへ戻る

代理基礎設施

StagedWorkspace、コンテンツハッシュでエージェントの解析ビューとネイティブファイルを同期し、OfficeQA Pass@1を8.3~12.1ポイント向上

新システムは、ドキュメントエージェントの検索結果、ネイティブファイル、diffビュー、最終提出物を明示的なバージョンに結び付け、古い解析内容を読んだエージェントが新しいファイルを編集する事態を防ぐ。固定したフレームワークでのアブレーションでは、解析ビューとネイティブビューを併用する方が、いずれか一方だけを使う場合より優れていた。一方、完全なコードとフレームワークをまたぐ再現結果は、まだ十分に提供されていない。

Richard Peter · CC BY-SA 3.0 de · Image source
zh-Hant

コーディングエージェントは通常、Git commit、diff、テスト結果を使って現在の状態を確認できる。しかしPDF、スプレッドシート、プレゼンテーション、複合ドキュメントを扱う場合、検索インデックス、プレビュー画面、ネイティブファイル、評価に提出されるバージョンが互いに一致しないことがある。8月18日に発表された[StagedWorkspace](https://arxiv.org/abs/2608.18050)は、この問題を「workspace state contract」として定義した。エージェントが参照するすべての解析レコードとdiffは、ネイティブコンテンツの特定のハッシュを指していなければならない。

このワークスペースは、ベースライン版、ステージされた変更、提出版を保持する。ネイティブファイルが変更されると、システムは再解析を実行し、検索可能なレコードを更新する。エージェントは構造化テキストによる検索と同時に、元のPDF、ワークブック、スライドも確認できるため、パーサーがレイアウト、数式、グラフの情報を失った場合にも対応できる。提出前のdiffにより、エージェントは以前のテキスト要約を信頼するだけでなく、自身が実際に変更した内容を確認できる。

研究チームは固定したエージェントフレームワークを使い、ネイティブビューまたは解析ビューを個別に取り除いた。両方のビューを提供する構成は、テストしたすべてのモデルで最も高い点推定値を記録した。制約の強い単一ビュー構成と比べ、OfficeQA ProのPass@1は8.3~12.1パーセントポイント、APEX-Agentsの平均rubricスコアは4.7~9.2ポイント向上した。完全版のSW-Agentは、Gemini 3.1 Proとの組み合わせでOfficeQAにおいて63.9%、GPT-5.4 Nanoとの組み合わせでAPEXにおいて42.1を記録した。著者らが引用した同一モデルの既報スコアは、それぞれ29.3%と25.5だった。また、57件のファイル編集タスクでも、diffを表示する構成の方が高い観測スコアを得た。

この結果は、ドキュメントエージェントの「コンテキスト」がtokenだけではなく、バージョンセマンティクスを持つ外部状態も含むことを開発者に示している。[OfficeQAの公式リポジトリ](https://github.com/databricks/officeqa)自体が元のPDF、解析済みドキュメント、評価コードを提供しており、異なる表現レイヤーを扱う際のエンジニアリング上の負担を端的に示している。ただし、システム間のスコアはモデル、ツール、実行フレームワークの影響を受けるため、完全版システムと既報ベースラインとの差をすべてバージョン管理の効果に帰することはできない。現時点で最も信頼できる証拠は、同一フレームワーク内で実施されたアブレーションである。今後は、協調型エージェント、並列編集、解析失敗、ロールバックが発生しても、コンテンツハッシュ契約が維持されるかを検証する必要がある。

出典

  1. StagedWorkspace: A Versioned Workspace for Knowledge-Work Agents
  2. OfficeQA benchmark repository