FACTWASH、エージェントがメモリへ書き込む前に語調のドリフトを阻止——ドメイン横断の否定表現検出でF1スコア0.91

エージェントのメモリシステムは通常、会話、メール、文書を短い記録へ圧縮する。しかし要約では、主張の内容が残る一方で、「伝えられているところでは」「可能性がある」「当時は有効だった」といった制約が削除されることがある。8月4日に公開されたFACTWASHは、この現象を「factwashing」と呼び、書き込み段階に検査を設けている。まず、保存予定の文に対応する原文を特定し、否定、ヘッジ表現、話者への帰属、時間的範囲、数値またはエンティティの変化を検査する。修正できない内容は拒否し、修正可能な語調のドリフトは書き換える。信頼できる原文とのアラインメントが見つからない場合は、そのまま通過させず「検査不能」として扱う。

実装はApache 2.0ライセンスで提供される、実行時依存関係ゼロのPythonパッケージで、既存のmem0ストレージ層をラップするインターフェースも備える。研究上の重要な設計判断は、明示的な否定などの「クローズドクラス」の手がかりはほぼ列挙可能だという点だ。語彙リストは、チューニングに使用していないテキストでもF1スコア0.91を達成した。一方、ヘッジ表現と帰属方法は「オープンクラス」に属し、語彙リストだけでは再現率が約50％にとどまった。後者2つについて、手がかりの指摘のみを担うLLM witnessを追加したところ、再現率はそれぞれ17ポイントと15ポイント向上した。このコンポーネントは最終的な安全性判定を引き下げることしかできず、引き上げることはできないため、モデル自身が疑わしい書き込みを承認してしまうことを防げる。

著者らは、外部でアノテーションされた10万5,000件超の文を使って手がかりの識別をテストし、未改変のmem0 2.0.7では、ヘッジ表現を含む噂の書き込み8件中5件を阻止した。ただし、実際のメモリ書き込みに関する評価を担当したアノテーターは1人だけで、2回目のブラインドアノテーションにおける一致度もκ＝0.47にとどまった。また、現時点では英語にしか対応しておらず、部分文字列ベースのルールは言い換えによって回避される可能性がある。エンジニアリングチームは、これを汎用的なファクトチェッカーではなく、監査可能で対象範囲の狭いゲートとして捉えるべきだ。今後は、多言語対応、文をまたぐ原文アラインメント、実環境のメモリパイプラインにおける第三者評価での誤検知率に注目する必要がある。