LangChain 修復 Anthropic 串流回呼缺漏，恢復首 token 延遲追蹤

LangChain 於 11 月 2 日發布 langchain-anthropic 1.7.9，納入 Anthropic 串流內容區塊的回呼修補。這項變更處理代理應用的觀測缺口：使用工具、文件或延伸思考的請求，雖然持續收到模型輸出，LangSmith 卻可能沒有首 token 延遲（TTFT）資料。修補已合併並進入發布版本。版本說明

問題出在串流內容的資料型別。維護者指出，只要請求包含上述任一功能，每個串流片段的 content 就會採用內容區塊清單，即使最後只是文字回答、完全沒有呼叫工具也一樣。原本同步與非同步串流路徑僅在內容為字串時觸發 on_llm_new_token，因此這些請求不會送出 token 回呼；在 LangGraph messages 模式等使用情境下，LangSmith 也就缺少計算 TTFT 的事件。修補說明

新實作讓內容區塊串流也能觸發回呼，以文字形式傳遞 token，並在 chunk 保留完整區塊資訊。這對自行撰寫串流處理器的團隊尤其重要：文字顯示與結構化資料可分別取用。官方文件亦說明，LangSmith 的串流首 token 計時依賴事件；直接使用 RunTree API 時，開發者必須加入 new_token 事件，才能填入這項指標。官方追蹤文件

從工程角度推論，這項修補有助於比較純文字與工具型代理請求的等待時間，避免將缺少量測誤讀為模型行為差異。升級後應以相同請求比較同步、非同步及自訂回呼路徑，確認事件恢復、文字仍可串接，且工具與思考區塊仍能從 chunk 取得。發布資料未提供推論加速數據，也未承諾補回歷史追蹤；評估成效應聚焦新增請求的量測完整性，而非預期模型生成變快。