LangChain、Anthropicのストリーミングコールバック欠落を修正し、初回トークン遅延の追跡を再開

LangChainは11月2日、langchain-anthropic 1.7.9をリリースし、Anthropicのストリーミングコンテンツブロックに関するコールバック修正を取り込んだ。この変更は、エージェントアプリケーションの可観測性における欠落を解消するものだ。ツール、ドキュメント、または拡張思考を使うリクエストでは、モデル出力を継続して受信していても、LangSmithに初回トークン遅延（TTFT）のデータが記録されない場合があった。修正はマージされ、リリースに含まれている。リリースノート

原因は、ストリーミングコンテンツのデータ型にあった。メンテナーによると、上記の機能をいずれか含むリクエストでは、最終的にツール呼び出しを伴わないテキスト回答になる場合でも、各ストリーミングチャンクのcontentはコンテンツブロックのリストになる。従来の同期・非同期ストリーミング経路では、コンテンツが文字列の場合にのみon_llm_new_tokenを呼び出していたため、これらのリクエストではトークンコールバックが送信されなかった。その結果、LangGraphのmessagesモードなどの利用形態で、LangSmithはTTFTを計算するためのイベントを受け取れなかった。修正の説明

新しい実装では、コンテンツブロックのストリーミングでもコールバックを呼び出し、tokenにはテキスト形式の内容を渡し、chunkにはブロック全体の情報を保持する。独自のストリーミング処理を実装するチームにとって、特に重要な変更だ。テキスト表示と構造化データをそれぞれ利用できる。公式ドキュメントにも、LangSmithのストリーミングにおける初回トークンの計測はイベントに依存すると記載されている。RunTree APIを直接使う場合、開発者はこの指標を記録するためにnew_tokenイベントを追加する必要がある。公式トレースドキュメント

エンジニアリング上の推論として、この修正により、純粋なテキストリクエストとツールを使うエージェントリクエストの待ち時間を比較しやすくなり、計測データの欠落をモデルの挙動の違いと誤解するのを防げる。アップグレード後は、同一のリクエストを使って同期、非同期、カスタムコールバックの各経路を比較し、イベントが再び記録されること、テキストを引き続き連結できること、ツールや思考のブロックをchunkから取得できることを確認するとよい。リリース情報には推論の高速化を示すデータはなく、過去のトレースを補完するとの説明もない。効果の評価では、モデル生成の高速化を期待するのではなく、新しいリクエストの計測が完全になったかに注目すべきだ。