CAPA、コーディングアシスタントのセッション横断記憶を評価：同一ユーザーの履歴で初回成功率が平均15.6ポイント向上

新たに提案されたCAPA（Cross-Session Adaptation to Personalized Ambiguity）は、コーディングアシスタントの長期記憶の問題を、「ユーザーが何を言ったかを記憶する」ことから、実行可能なテストへと置き換える。同じ人物が繰り返し同じ情報を省略する場合、モデルは解決済みの過去のセッションから、その真の意図を推測できるのか。研究者らはHumanEvalタスクを基に、6種類のパーソナライズされた曖昧性メカニズムを設計し、60組のユーザー—曖昧性構成を網羅する600セッションの対話を作成した。このうち300セッションを評価用として確保した。

12モデルはそれぞれ、履歴なしの条件と、同一ユーザーの過去5セッションを与える条件でコードを実行した。履歴を追加すると、実行可能コードの平均成功率は6.8パーセントポイント、初回応答の成功率は15.6ポイント向上し、完了までに必要なターン数は0.81減少した。最も優れたモデルであるClaude Opus 4.8では、初回成功率が24.3%から60.3%に上昇したが、それでも約4割のタスクで追加質問が必要になるか、初回に失敗した。ChatGPT-5.6-Solでは最終成功率が0.3ポイント微減しており、コンテキストを増やしても安定した改善につながるとは限らないことが示された。

研究では、別のユーザーの履歴も対照条件として使用した。ミスマッチな履歴でも、汎用的なコードや対話の例は提供できたが、正しいユーザーの履歴と組み合わせることで、評価対象となった3モデルの初回成功率はさらに2〜12ポイント向上した。汎用メモリシステムのMem0とA-memは、生の履歴をそのまま投入する方法を一貫して上回ることはなかった。研究者らが提案したパラメータ不要のhistory gateは、過去の対話に一貫した「曖昧性—解決策」の証拠が含まれているかを先に判定し、その上で直接回答するか、明確化を求めるかを決定する。この手法により、初回成功率は最大でさらに13.33ポイント向上した。

エンジニアリング上の要点は、すべての対話を永続的にコンテキストへ詰め込むことではなく、「要件の曖昧性がどのように確認・解消されたか」を示す構造化された証拠を保存し、利用前にユーザーの同一性、関連性、一貫性を確認することにある。CAPAは依然としてHumanEvalから派生した合成タスクで構成されており、大規模リポジトリ、要件変更、複数人によるアカウント共有は対象としていない。次に注目すべきなのは、データとコードが公開されるか、そして実環境のIDEテレメトリおよびプライバシー制約の下で結果を再現できるかである。