Cohere 發布 Rerank 5，新增段落擷取與可調門檻以縮減 RAG 上下文

Cohere 於 10 月 21 日推出 Rerank 5 Pro 與 Fast，將檢索後處理從文件排序延伸至文件內的段落選取。新增的 Context Focus 能在同一次重排序呼叫中找出相關文字，讓 RAG 與搜尋代理只把選定內容送給下游模型；兩款模型已透過 Cohere API 等管道提供服務。官方發布

這項改動直接影響檢索管線的上下文組裝。過去系統取得候選文件後，往往以整個區塊作為輸入；現在可利用原文中的段落位置建立較精簡的證據集合。工程上的潛在收益是降低下游輸入量，但節省幅度仍取決於文件長度、查詢類型與保留門檻，不能直接視為整體成本等比例下降。

依官方文件，Context Focus 預設關閉，請求需加入 relevant_spans。回傳段落包含原文的 start、end 字元位置及分數；提高 threshold 會移除更多文字，max_spans 則限制每份文件保留的段落數。若沒有段落達標，該結果會省略段落欄位，串接端需處理這條分支。官方也提醒，摘要等廣泛查詢通常需要完整文件，表格、表單與程式碼的切分效果則較不穩定。技術文件

Cohere 人員在 LangChain 社群的發布討論中確認，段落門檻可隨請求調整，並表示模型已可經由 LangChain 使用。這讓應用有機會依查詢選擇裁切強度，例如對精確問答縮小輸入，對需要跨段整合的問題保留更多證據。發布討論

效能方面，Cohere 自報 Pro 在 46 個綜合資料集中有 39 個排名第一，但採用的是該公司提出的 RCP-nDCG@10 評估方法，不能直接與其他排行榜分數混用。對中文技術團隊而言，下一步應以自身語料比較答案正確率、引用完整性、端到端延遲及總用量，尤其檢查裁切是否漏掉否定條件、例外規則或跨段依賴。評估說明