ホームへ戻る

GitHub Repo

LangChain Mistral統合パッケージが1.2.0をリリース、推論モデルのストリーミングブロック結合を修正

LangChainは11月15日、langchain-mistralai 1.2.0をリリースしました。推論ブロックとテキストが交互に現れる場合のストリーミング処理を修正したほか、LangSmith gatewayに対応し、Pythonの最低要件を3.11に引き上げています。

Dirck van Baburen · Public domain · Image source
zh-Hant

LangChainは11月15日、Mistral統合パッケージ langchain-mistralai 1.2.0をリリースしました。このリリースには、同日にマージされた推論モデルのストリーミング修正が含まれています。GitHubのリリース記録とPyPIの両方に新版が掲載されており、開発ブランチを自分で適用せずにパッケージを入手できます。リリース記録、PyPIパッケージ

今回の修正は、ストリーミング内容の型の一貫性に対応するものです。モデルはまずリスト形式の推論ブロックを送信し、その後に文字列のテキストを送信することがあります。新版では、ストリーミングがブロックモードに入った後に続く文字列もテキストブロックに変換し、メッセージの累積時に構造が一貫するようにしました。また、同期・非同期の両経路で実質的に空のチャンクをスキップしつつ、ツール呼び出し、使用量、終了情報は保持します。逐次的な応答更新を画面に反映するアプリケーションでは、特に重要な条件です。コード差分

この修正では reasoning_effort パラメーターも追加され、モデルの作成時または呼び出し時に指定できます。デフォルトでは送信されず、指定できる値はモデルによって異なります。追加されたテストでは、推論リスト、テキストブロック、文字列が交互に現れる状況を再現し、結合後に推論と回答をそれぞれ取得できることを確認しています。同期・非同期の両方と、2種類の出力設定も対象です。具体的な回帰確認の根拠にはなりますが、すべてのモデルやエージェントのワークフローで実地検証が済んだことを意味するものではありません。修正とテスト

新版では、ChatMistralAI が共通のゲートウェイ解決機構にも接続され、LANGSMITH_GATEWAY と langsmith_gateway に対応しました。パスは /mistral/v1 です。モデルの入口を一元管理するチームにとって、既存の統合クラスで利用できるルーティングの選択肢が増えます。ゲートウェイの変更

アップグレード前に、実行環境も確認してください。新版ではPython 3.10のサポートが削除され、PyPIに記載された最低バージョンは3.11です。今後、エンジニアリングチームは実際に使用しているモデルでストリーミングを再生し、回答の取得、推論の表示、ツール呼び出しが引き続きアプリケーションの想定どおりか確認する必要があります。公開情報には、性能向上や旧版への影響範囲全体はまだ示されていません。バージョン変更、環境要件

出典

  1. langchain-mistralai 1.2.0 發布紀錄
  2. 修正推理模型串流處理:PR #41887
  3. ChatMistralAI 支援 LangSmith gateway:PR #41840
  4. langchain-mistralai 1.2.0