Hermes Agentコミュニティ、スクリーンショットのサイズ問題を報告　Claudeのデスクトップ操作で大きすぎる画像を再送して失敗する可能性

Hermes Agentコミュニティは10月6日、macOSでデスクトップをキャプチャした後、computer_useが大きすぎる画像をそのままClaudeに送信し、サイズ制限に達しても同じ内容を再送して、最終的に処理が中断する可能性があると報告した。この事例では、Claudeのサブスクリプションを使う実験的なDirectSDKプロバイダーが使用されていた。ログによると、画像のBase64サイズは約13.3 MBで、エンドポイントが返した上限は5 MBだった。3回の試行はいずれも失敗し、縮小して復旧したことを示すメッセージもなかった。コミュニティの報告

この経路はデスクトップエージェントの基本機能に関わる。Hermesの公式ドキュメントによると、組み込みツールはMCP標準入出力を通じてcua-driverに接続し、クリック、入力、スクロールに対応する。一般的な操作では、まず画面をキャプチャし、その後スクリーンショットとインデックス付きのUI要素を取得する。そのため、スクリーンショットをモデルに送信できないと、以降の判読や操作が画面を観察する段階で止まる可能性がある。Computer Useのドキュメント

報告者はコードを調べ、ネイティブのビジョン分岐ではスクリーンショットを直接埋め込んでおり、画像送信時のバイト数予算が適用されていないと指摘した。また、エラー分類器が今回のプロバイダーのサイズエラー文言に一致せず、縮小による復旧が始まらなかったという。これは報告者による根本原因の分析であり、メンテナーによる確認はまだ行われていない。問題の分析

この制限をすべてのClaudeインターフェースに一律に当てはめることはできない。現行の公式ドキュメントでは、直接APIで送信できる画像1枚あたりの上限はBase64エンコード後で10 MB、Amazon BedrockとGoogle Cloudでは5 MBとされている。この事例の実験的なプロバイダーが返した5 MBという制限を、直接APIにも共通する仕様と見なすことはできない。ドキュメントではさらに、ネイティブのコンピューター操作ツールでは、スクリーンショットがモデルのサイズ制限を超えると拒否されるため、アプリケーション側で事前に縮小するよう案内している。Claudeのビジョンに関するドキュメント

エンジニアにとって、この事例は画像サイズ予算とエラーからの復旧を合わせて検証する必要性を示している。上記の仕組みから推測すると、サイズを変えずに大きすぎる画像を再試行しても、サイズ制限は解消されない。画像を縮小する場合は座標の換算を保ち、モデルが見た画面と実際のクリック位置がずれないようにする必要がある。今後は、詳細度の高いスクリーンショット、過去の画像の再送、プロバイダー切り替えが修正の対象に含まれるか注目される。この事例の根拠は単一のmacOS開発版環境からの報告であり、すべての正式版やプラットフォームに影響が及ぶとはまだ推定できない。事例と修正案