MemUse：モデルの直接QAにおける記憶率は78.8%、自然な会話での参照率はわずか7.9%

京都大学の研究チームは、現在の長期対話記憶ベンチマークで一般的に用いられている直接QA方式に疑問を投げかけるMemUseを発表した。この研究は4カ月間にわたるランダム化された実環境への導入に基づく。40人のユーザーが1,872セッションを完了し、システムは7種類の記憶構成を切り替えて使用した。各構成における従来型の直接QAの正解率は19.7%から70.1%だったが、要約のみを保持するベースラインと比べ、ユーザー満足度の差はいずれもユーザー内標準偏差の0.06未満だった。

そこでチームは、実際の会話から「ユーザーが自発的に過去の出来事へ言及した」72の場面を抽出し、316件の事実質問を含むMemUseを構築した。主要指標のNatural Integrationでは、「何を覚えていますか」と改めて質問するのではなく、モデルが元の会話プロンプトに対し、関連する過去の情報を自然に引き継いでいるかを確認する。Direct QAとReferenceはそれぞれ、モデルが明示的に質問された際に答えを返せるか、自然な応答で実際に同じ事実を参照しているかを評価する。

その差は顕著だった。同一のGPT-4.1-miniを使用し、完全な履歴と再構築されたコンテキストを与えた条件では、Direct QAは78.8%に達した一方、自然な応答で関連事実を参照した割合はわずか7.9%だった。設問単位での両者の相関係数は-0.009で、検索の成功から、その情報が応答に取り込まれるかどうかをほとんど予測できないことを示している。ユーザーが自発的に記憶を呼び起こしたセッションでは、Natural Integrationと満足度に正の相関が見られた（ρ=0.29）が、Direct QAはほぼ無関係だった（ρ=0.03）。正しい詳細を先に抽出してから応答を生成した場合でも、モデルは48件中37件で抽出済みの情報を使用しなかった。このため、ボトルネックはretrieverだけにあるわけではない。

エンジニアリングの観点では、対話記憶システムはrecallやQA正解率だけを報告すべきではない。評価では自然なトリガー発話も再現し、呼び出された内容が次のターンの生成に実際に影響したかを測定する必要がある。データセット、評価用プロンプト、runnerは公開されているが、データはCC BY-NC 4.0で提供され、非商用研究にのみ利用できる。結論についても慎重な解釈が必要だ。ベンチマークの正例は72件にとどまり、Natural IntegrationはGPT-5.4-nanoが判定しており、満足度との関係も観察的な相関にすぎない。また、すべての導入条件には当初から会話要約が含まれていた。したがって、この研究が否定しているのは「追加容量が必ず体験を改善する」という主張であり、記憶そのものに価値がないという意味ではない。