Cohere、Rerank 5を発表　段落抽出と調整可能なしきい値でRAGのコンテキストを圧縮

Cohereは10月21日、Rerank 5 ProとFastを発表し、検索後の処理を文書の並べ替えから文書内の段落選択へと拡張した。新機能のContext Focusは、1回の再ランキング呼び出しで関連するテキストを特定する。これにより、RAGや検索エージェントは選択した内容だけを下流モデルに渡せる。両モデルはCohere APIなどを通じて提供されている。公式発表

この変更は、検索パイプラインでコンテキストを組み立てる方法に直接影響する。従来、候補文書を取得した後、システムは文書全体を入力に使うことが多かった。これからは原文中の段落位置を使い、より簡潔な証拠の集合を作成できる。下流への入力を減らせる可能性はあるが、削減幅は文書の長さ、クエリの種類、保持するしきい値によって異なる。全体のコストが同じ割合で下がると考えることはできない。

公式ドキュメントによると、Context Focusはデフォルトで無効になっており、リクエストにrelevant_spansを含める必要がある。返される段落には、原文の文字位置を示すstartとend、およびスコアが含まれる。thresholdを上げると、より多くのテキストが除外される。max_spansは文書ごとに保持する段落数を制限する。しきい値を満たす段落がない場合、結果には段落フィールドが含まれないため、連携する側でこのケースを処理する必要がある。またCohereは、要約などの幅広いクエリでは通常、文書全体が必要になる一方、表、フォーム、コードでは分割結果が不安定になりやすいと注意を促している。技術ドキュメント

LangChainコミュニティでの発表に関する議論では、Cohereの担当者が段落のしきい値はリクエストごとに調整できると確認し、モデルはLangChain経由でも利用可能だと述べた。これにより、クエリに応じて切り出しの強さを変えられる。たとえば、簡潔な回答が求められる質問では入力を絞り、複数段落を横断した統合が必要な質問では、より多くの証拠を保持できる。発表に関する議論

性能について、CohereはProが46の総合データセットのうち39で首位になったと報告している。ただし、同社が提案したRCP-nDCG@10評価手法による結果であり、他のランキングのスコアとそのまま比較することはできない。中国語を扱う技術チームは、次に自社のコーパスを使い、回答の正確性、引用の完全性、エンドツーエンドのレイテンシ、総利用量を比較すべきだ。特に、切り出しによって否定条件、例外ルール、段落間の依存関係が抜け落ちないかを確認したい。評価の説明