全ニュース

技術ニュース 1509 件

GitHub Repo

llm-d 1.0、多テナント推論スケジューリングを強化し、APIを安定化、アップグレード互換性を調整

llm-dは10月20日に1.0を発表し、多テナントのトラフィック制御、エージェントのセッションルーティング、協調アップグレード機能を統合した。設定APIはv1に引き上げられた一方、旧リソースグループ、メトリクスのエイリアス、一部のフラグは削除され、既存のデプロイでは移行時の互換性確認が必要となる。

GitHub Repo

Difyコミュニティでエージェント履歴のプロンプト重複読み込みが報告、長い会話でAPIのメモリ使用量が増加する可能性

10月22日のDifyコミュニティ報告によると、エージェントが会話履歴を再構築する際、各ターンで保存された完全なプロンプトを読み込む可能性があり、データ読み込み量が二次的に増加するという。報告には再現コードとカラム削減テストが添付されているが、確認可能な正式修正版はまだない。

GitHub Repo

TransformersでKVキャッシュ容量が連続バッチ推論を遅らせるとの報告、TRLの小規模学習にも影響

10月20日のTransformers技術報告によると、Flash Attention経路ではKVキャッシュ容量の増加に伴って処理が遅くなる可能性があり、キャッシュの大部分が未使用でも発生するという。関連するTRLの再現テストでも学習時間に差が見られたが、修正が確認できる正式リリースはまだない。

GitHub Repo

Difyコミュニティ、スケジュール処理後も接続が解放されず、常駐ワーカープロセスでRedisのアイドル接続が蓄積する可能性を報告

10月22日のDifyコミュニティ報告によると、特定のCelery/geventスケジューラー構成では、タスク完了後もRedisの結果サブスクリプション接続が保持される可能性がある。報告者は本番環境で1万を超える接続が蓄積したと述べているが、メンテナーによる確認や、検証可能な正式修正版はまだない。

GitHub Repo

TransformersがEntroPack統合を提案、重み圧縮で非整数ビットレートを設定可能に

10月21日に提出されたTransformersのプルリクエストは、標準のモデル読み込みインターフェースを通じたEntroPackによる重み圧縮を提案している。パラメーターあたり平均3.5ビットなどの保存目標を設定できるが、まだマージされておらず、推論で得られる効果はデコードコストとワークロードに左右される。

GitHub Repo

TransformersコミュニティがRoPE初期化の不備を報告、一部の長文コンテキスト設定でNone値があると失敗

10月21日のTransformersコミュニティからの報告によると、一部のモデル設定でhead_dimがNoneの場合、Dynamic、YaRN、LongRoPEの経路でモデルを作成できない可能性がある。報告には小規模な再現コードと修正案が添えられているが、メンテナーによる確認や、検証可能な正式修正版はまだない。

GitHub Repo

Ollamaプレビュー版にコードエージェントモデル「Flint」を追加、初版はmacOS限定で対応

Ollamaは10月21日、MLXを通じたRecursive Flintのローカル推論に対応するv0.40.8-rc0を公開しました。このオープンウェイトモデルは疎なエキスパート構成を採用していますが、最初のリリース候補版はmacOSのみをサポートし、他のGPUプラットフォームへの対応は後続バージョンで予定されています。

GitHub Repo

LangChainコミュニティが要約検証の不備を報告、空の応答でエージェントが作業コンテキストを失う可能性

10月20日のLangChainコミュニティ報告によると、要約モデルが空のテキストを返した場合でも、ミドルウェアが元のメッセージを削除し、エージェントが気づかないままコンテキストを失う可能性がある。報告には最小再現コードと修正案が含まれるが、メンテナーによる確認や、検証可能な正式修正バージョンはまだない。

GitHub Repo

LangChain、ツール引数のストリーミングインターフェースを更新 受信側の増分対応を先行導入

LangChainは10月21日、Pythonのストリーム消費側でツール引数の増分受信をサポートし、チャンクごとの引数取得の挙動を変更した。送信側の改修はまだドラフト段階で、転送量の大幅な改善は実現していない。既存アプリケーションでは引数の組み立て方を確認する必要がある。