GitHub Repo
Difyコミュニティ、高負荷時の検索接続枯渇を報告 知識ベースを参照しない回答が生じる可能性
Difyコミュニティは11月14日、知識検索が埋め込みモデルやベクトルデータベースの応答を待つ間、SQL接続を占有し続け、タイムアウトや検索のスキップにつながる可能性を報告した。報告にはセルフホスト環境での比較テストが含まれるが、メンテナーによる確認と正式な修正はまだ行われていない。

DifyのGitHubで、RAG回答の信頼性に関する新たな報告が寄せられた。高い同時実行数のリクエストによってデータベースの接続プールが枯渇し、一部のチャットリクエストは正常に回答を返すものの、あらかじめ接続された知識ベースを使わない可能性があるという。報告者は11月14日、Dockerを使ったセルフホスト環境のバージョン1.19.0でテストし、チャットアプリとワークフローの知識検索経路に問題が関係すると指摘した。現時点ではコミュニティによる実測として扱うべきで、影響範囲は確認を待つ必要がある。課題と再現条件
報告者の調査によると、検索スレッドはデータセットを読み込んだ後も、同じデータベースセッションを保持したまま、埋め込みモデルとベクトル検索の応答を待つ。さらに、下位の検索スレッドが別の接続を必要とする。同時に検索するデータセット数が接続プールの容量に近づくと、それぞれが接続を占有しながら新たな接続を待つ状態になり得る。報告では、検索エラーによって一部のチャットリクエストが検索をスキップし、そのままモデルによる生成に進んだ。これにより、サービスの可用性の問題が回答の根拠にも影響する。コード経路の分析
同日、独立した知識ベース検索APIでも、類似の問題が別途報告された。100件の同時実行リクエストでは、セマンティック検索の各ラウンドで200件中11件、29件、14件しか完了しなかった。一方、読み取りトランザクションを早期に終了させると、3ラウンドとも全リクエストが完了した。ただし、このテストでは固定遅延を設定した埋め込み用の代替エンドポイントを使っており、両方のテストに別の接続修正も適用されている。そのため、これらの数値をそのまま標準のデプロイ環境の性能を示すものとみなすことはできない。APIの比較テスト
Difyの公式ドキュメントによると、デフォルト設定は常駐接続30、追加接続10、接続待ちタイムアウト30秒だ。アプリケーションが受け付ける同時実行数と、データベースが処理できる容量を併せて評価する必要がある。環境変数のドキュメント SQLAlchemyのドキュメントも、接続プールが上限に達すると待機が発生すると説明している。制限なくプールを拡張すれば、リソース枯渇の問題がデータベース側に移る可能性がある。接続プールエラーの説明
エンジニアリングチームにとって、この報告は、負荷テストで成功率を測るだけでなく、回答に検索結果が反映されているか、接続が保持される時間がどれくらいかも確認すべきことを示している。今後はメンテナーが問題を再現するか、修正が異なる検索方式にも適用されるか、正式リリースの回帰テストがどうなるかを追う必要がある。