Hermes Agentコミュニティ、視覚履歴の欠落を報告：ゲートウェイの会話ターンをまたぐとツールが読み込んだ画像が失われる可能性

Hermes AgentのGitHubで10月20日、マルチモーダルセッションに関する報告が投稿された。Discordゲートウェイでは、vision_analyzeで読み込まれたネイティブ画像が、そのターンでしかモデルに渡されない可能性がある。次のメッセージが届くと、履歴にはテキストと[screenshot]プレースホルダーだけが残るという。報告者は、その結果、モデルが先に正しく行った画像の判定を撤回したと述べている。ただし、これは個別の事例であり、すべてのゲートウェイやモデルに影響すると推定することはできない。コミュニティの報告

これは、ツールの動作に関する公式説明との食い違いを示している。ドキュメントによると、メインモデルとプロバイダーがツール結果内の画像をサポートしている場合、vision_analyzeはピクセルデータを直接返すため、補助的な視覚モデルで説明文を生成する手順を省ける。また、埋め込み画像は後続のセッションリクエストにも再送されるはずだ。継続的に発生する画像データの負荷を制御する設定がvision.embed_target_bytesで、デフォルト値は256 KBとなっている。視覚機能のドキュメント

報告者は、問題が永続化と履歴の再構築の境界で起きていると特定した。_durable_contentがマルチモーダルのツール結果をテキストの要約に変換し、画像部分をプレースホルダーに置き換える。次のターンでゲートウェイが会話ストレージから履歴を読み込むと、ピクセルデータを復元できない。さらに、残されたテキストには画像が読み込まれ、直接見られる状態だと示されるため、モデルを誤解させるおそれがある。報告者は、画像を再添付できる参照を保持する方法と、画像は以前確認されたものの、現在はピクセルデータがないと明示する方法の2案を提示した。問題の分析と提案

エンジニアリング上の示唆は、マルチモーダルエージェントのターンをまたぐ信頼性が、履歴のシリアライズにも左右されるということだ。上記の仕組みから推測すると、モデルの回答が前後で食い違う原因として、保存と再読み込みの過程で根拠となる情報が失われた可能性がある。公式には、ユーザー添付画像の履歴再生を扱うvision.replay_recent_imagesもあるが、ドキュメントではツール結果とは別に説明されているため、本件の解決策とみなすことはできない。画像の履歴再生に関する説明

今後は、修正がツール画像の永続化、ターンをまたぐ再読み込み、キャッシュ無効化の各状況をカバーするか、またデプロイ可能なバージョンが提供されるかを確認する必要がある。運用担当者は、同じ画像について連続して質問し、後続のリクエストにも画像データが含まれているかを確認できる。最初の回答が正しかったというだけでは、視覚処理のワークフロー全体の信頼性を確認したことにはならない。