OmegaUse-OfficeVal、オフィスエージェント評価にタスク別コストラベルを導入　最高性能モデルも品質では人間に3分の1超及ばず

7月29日に公開されたOmegaUse-OfficeValは、オフィスエージェントの評価軸を「正しいボタンを押せたか」から「成果物の品質に対価を支払う価値があるか」へ移そうとする試みだ。データセットには、実務上の要件を基に再構成した100件の長工程タスクが収録されている。入力には合計220個のDOCX、PPTX、XLSX、PDF、画像、音声・動画ファイルが含まれ、115個の編集可能な成果物の作成が求められる。各タスクを人間が処理するのに必要な時間は平均2.32時間、中央値2.03時間で、最長8.35時間に達した。

このベンチマークでは、タスクごとに人間による完了時間と価格の代理指標が付与されている。価格の約2割は実務提供者の外注経験に基づき、残りは3人の専門家が見積もった。全体の平均価格は6.86米ドルだった。評価では、エージェントがGUI、プログラム、または両者を組み合わせた手順のいずれを使うかは制限せず、最終ファイルを検査する。研究チームは詳細な評価基準を、219項目のユーザビリティチェックと2,009項目の完成度チェックに変換した。ファイルを開けない、編集できない、または利用できない場合、そのタスクのスコアはゼロとなる。その他の誤りについては、修正に必要な負担に応じて減点される。

固定されたエージェントフレームワークでは、GLM-5.2、Kimi K2.6、DeepSeek-V4-Pro、MiniMax M3、Qwen3.7-Plusはいずれも人間より高速かつ低コストだった。しかし、最高の平均スコアでも17.91にとどまり、各問題で最良の人間作成成果物を採用したベースラインの27.79を下回った。注目すべき点として、平均スコアが最も高いモデルが、必ずしも価格の高いタスクで最大の価値を生み出すとは限らなかった。これは、導入側がマクロ平均だけでモデルを選定すべきではないことを意味する。

このベンチマークの工学的な価値は、入力、評価基準、検証ツール、経済的ラベルがすべて公開されており、モデルのアップグレードによって人間の手戻りが実際に減少したかを測定できる点にある。一方で、タスクは匿名化および再構成されており、価格の大半は専門家による見積もりである。また、人間のベースラインには各問題で最良の成果物が選ばれているため、いずれも結果の解釈に影響する。今後は、検証ツールが評価基準を狙った不正な最適化に耐えられるか、さらに異なるオフィスソフトウェア、言語、地域別賃金の条件でも結果を再現できるかを検証する必要がある。