ホームへ戻る

RAG/深度研究代理

DeepWeaverは証拠を先に編み上げてから回答を生成、DeepSeek-V4-Flashの論拠充足度が75.4%から86.5%に向上

DeepWeaverはThought Block Chainを用いて主張、重要情報、情報源を整理し、未活用の証拠を繰り返し確認する。複数モデルの長文回答と引用指標を改善した一方、新しい評価は中国語の水環境問題に集中しており、コードもまだ実際には公開されていない。

Rept0n1x · CC BY-SA 3.0 · Image source
zh-Hant

清華大学の研究チームは、深層調査システムにおける「資料を見つけること」と「信頼できる回答を書くこと」の間の断絶を解消するため、DeepWeaverを提案した。一般的なRAGは大量の検索断片をそのまま長いコンテキストに詰め込むが、実験では、ノイズを含む証拠を増やしても、120件の断片だけをサンプリングする場合を必ずしも上回らないことが示された。モデルが細部を読み落としたり、両立しない主張を統合したり、引用を誤った文に紐付けたりする可能性があるためだ。

DeepWeaverは、最終生成の前にThought Block Chain(TBC)を維持する。各ブロックには、主張、要約情報、キーワード、裏付けとなる証拠が紐付けられる。システムはまず下書きを作成し、次にsubordinate TBCが未カバーの断片を走査する。最後にcommitステップで新たな主張を統合し、重複する内容を破棄する。精緻化は2ラウンドで最も高い効果を示し、3ラウンド目による明確な改善は見られなかった。

新たに構築されたLoQAでは、DeepSeek-V4-FlashにDeepWeaverを導入すると、証拠再現率は24.2から31.6へ、論拠充足度は75.4%から86.5%へ、関連引用数は31.0から44.6へ向上した。Qwen3.5-122B-A10BとDeepSeek-V3.2でも一貫した改善が確認された。Web調査テストでは、証拠統合の効果を切り分けるため、WebWeaverの検索器を固定して使用した。DeepWeaverの有効引用スコアは60.13で、WebWeaverは26.74だった。

コスト増を完全に避けられるわけではない。2基のA100でQwen3-30B-A3Bを実行した場合、DeepWeaverが平均で読み込んだtoken数は316万で、WebWeaverの235万を上回った。一方、中間出力は30.7万tokenから9.4万tokenへ減少し、ローカル実行時間も18.5分から14.2分へ短縮された。推定コストはそれぞれ0.313ドルと0.303ドルで、ほぼ同水準だった。エンジニアリングチームが注意すべき点として、LoQAは中国語の水環境分野のみを対象としていること、複数の品質スコアがLLM-as-a-Judgeによって算出されていること、さらにGitHubリポジトリには現時点で説明文書しかなく、コードは後日更新予定と明記されていることが挙げられる。そのため、完全なプロセスを独立して再現することはまだできない。

出典

  1. DeepWeaver: Bridging the Evidence Synthesis Gap in Open-Ended Question Answering
  2. KlozeWang/DeepWeaver