GitHub Repo
vLLMコミュニティ、多機デコードの遅延を報告 空のKVコネクタでも性能低下の可能性
2ノードのH100テストでは、データを移動しないKVコネクタを加えると、特定の負荷でトークンあたりの遅延が約87%増加した。調査では応答の集約とスレッドの待機が原因として指摘されたが、原因の確定と修正は上流での確認待ちだ。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
GitHub Repo
2ノードのH100テストでは、データを移動しないKVコネクタを加えると、特定の負荷でトークンあたりの遅延が約87%増加した。調査では応答の集約とスレッドの待機が原因として指摘されたが、原因の確定と修正は上流での確認待ちだ。
GitHub Repo
固定シード、温度0のQwen3-8Bテストでも、カーネル構成の違いによって出力に差が生じた。関連するPyTorchの修正案は未マージで、影響範囲はバージョン、ハードウェア、コンパイル経路ごとに確認する必要がある。
GitHub Repo
パスレベルの共通パラメーターがインポート時に失われる可能性があり、Swagger形式はそのまま拒否されることもある。原因はソースコードと仕様を照合して確認できるが、修正の公開状況と影響範囲の全容はまだ不明だ。
GitHub Repo
MI355Xでの再現例では、コンパイル後に本来ゼロの確率が1と計算されることがある。報告者は暫定的な回避策を示したが、影響範囲と正式な修正は未確認だ。
GitHub Repo
単一マシンでのテストでは、メモリ設定の変更によりデコード時のGPU待機時間が短縮した。公式の既定値は引き続き無効で、効果と容量制限はデプロイ環境ごとに検証する必要がある。
GitHub Repo
コミュニティのテストでは、FlashInferの負荷推定によってH20が非効率な演算カーネルを選ぶ可能性が示された。修正後、特定のMoE演算子は約3.21倍高速化した。修正はまだマージされておらず、サービス全体への効果と一部の正確性テストは未検証だ。
GitHub Repo
新版ではクラウドのOAuth状態を保持し、SDKでトークン更新エンドポイントと状態の書き戻し処理を修正した。効果が行き渡るかはバックエンドのデプロイ状況にも左右されるため、既存の接続で会話をまたいで再利用できるか確認が必要だ。
GitHub Repo
Pythonツール関数の型ヒントをJSON Schemaに変換する際、特定のユニオン型で配列要素や列挙値の制約が失われる。報告はリリース版と開発版の両方を対象としており、修正はメンテナーの確認待ち。
AI 安全
バリデーターは中央設定とチームによるオーバーライドを検査し、問題のあるファイルとJSONパスを報告する。設定は対応クライアントに同期される必要があり、検証に通った後も実際に適用されたか確認が必要だ。
GitHub Repo
特定の設定ではGuidanceバックエンドが固定オブジェクトを書き換え、正しい出力が拒否され、誤った出力が通ることがある。コミュニティは修正案とテストを提出したが、まだマージされておらず、影響するバージョンの範囲も未確認だ。
GitHub Repo
新バージョンでは変更されていないファイルのシンボルも解析に含め、部分更新後にエージェント向けナレッジグラフの接続が失われる問題を修正した。修正版はPyPIで公開済みだが、ほかのインポート解析の不具合や旧グラフの復元については、別途検証が必要だ。
AI 研究
共同チームが2,812組のウイルスプロテオームを対象に、高信頼度の複合体予測とGPU計算パイプラインを公開した。導入には大容量GPUとクラスター環境が必要で、構造予測は実験による検証も欠かせない。