推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

TransformersコミュニティがQwen4-Expの注意機構の異常を報告、左パディングのバッチでNaNが発生する可能性

10月23日のTransformersコミュニティからの報告によると、Qwen4-Expでeager注意機構を使って左パディングのバッチを処理すると、有効トークンの出力にNaNが現れる可能性があります。小規模なCPUテストではSDPA経路で同じ問題は見られませんでしたが、実際の重みとGPUへの影響は未検証です。

2026-10-23

GitHub Repo

TransformersコミュニティがFP8逆量子化の境界エラーを報告、一部の重みで読み込み失敗や数値のずれが発生する可能性

10月22日のTransformersコミュニティからの報告によると、FP8重みの末尾ブロックが128行に満たない場合、逆量子化に失敗したり、誤ったスケーリング値が適用されたりする可能性があります。報告にはCPUでの再現コードが含まれていますが、検証可能な正式修正版はまだありません。

2026-10-23

GitHub Repo

llm-d 1.0、多テナント推論スケジューリングを強化し、APIを安定化、アップグレード互換性を調整

llm-dは10月20日に1.0を発表し、多テナントのトラフィック制御、エージェントのセッションルーティング、協調アップグレード機能を統合した。設定APIはv1に引き上げられた一方、旧リソースグループ、メトリクスのエイリアス、一部のフラグは削除され、既存のデプロイでは移行時の互換性確認が必要となる。

2026-10-22

GitHub Repo

TransformersでKVキャッシュ容量が連続バッチ推論を遅らせるとの報告、TRLの小規模学習にも影響

10月20日のTransformers技術報告によると、Flash Attention経路ではKVキャッシュ容量の増加に伴って処理が遅くなる可能性があり、キャッシュの大部分が未使用でも発生するという。関連するTRLの再現テストでも学習時間に差が見られたが、修正が確認できる正式リリースはまだない。

2026-10-21

GitHub Repo

TransformersがEntroPack統合を提案、重み圧縮で非整数ビットレートを設定可能に

10月21日に提出されたTransformersのプルリクエストは、標準のモデル読み込みインターフェースを通じたEntroPackによる重み圧縮を提案している。パラメーターあたり平均3.5ビットなどの保存目標を設定できるが、まだマージされておらず、推論で得られる効果はデコードコストとワークロードに左右される。

2026-10-22

GitHub Repo

Ollamaプレビュー版にコードエージェントモデル「Flint」を追加、初版はmacOS限定で対応

Ollamaは10月21日、MLXを通じたRecursive Flintのローカル推論に対応するv0.40.8-rc0を公開しました。このオープンウェイトモデルは疎なエキスパート構成を採用していますが、最初のリリース候補版はmacOSのみをサポートし、他のGPUプラットフォームへの対応は後続バージョンで予定されています。

2026-10-22

GitHub Repo

DeepSeek、推論エンジン「DeepInfer」をオープンソース化——2種類のアクセラレーターに対応、サービス層の整備はなお必要

DeepSeekは10月20日、V4.1-Flashに対応するオフライン推論エンジン「DeepInfer」と、複数のデコード最適化を公開した。コードはApache 2.0ライセンスで提供されるが、完全なデプロイにはKVキャッシュ、プリフィルとデコードの分離、負荷分散を独自に統合する必要がある。

2026-10-21

GitHub Repo

AWSがTorchNeuronをパブリックプレビュー、TrainiumでPyTorchをネイティブ実行可能に　コンパイルは静的形状に限定

AWSは10月20日、オープンソースのTorchNeuronパブリックプレビューを公開した。Trainium2、Trainium3でPyTorchの即時実行とモデルコンパイルをサポートする。一方、ソースコードのドキュメントには動的形状、データ型、演算子の互換性に関する制約も記されており、移行時には項目ごとの検証が必要だ。

2026-10-21

GitHub Repo

Transformersが統一量子化アーキテクチャ案を提出、MXFP4への移行で旧GPUのロード動作が変わる可能性

Transformersのメンテナーは10月20日、FP8やMXFP4などの形式と混合精度ロードを統合する共通ブロック量子化アーキテクチャを提案しました。MXFP4の案では量子化カーネルのハードウェア要件も引き上げられ、A100、T4、CPUでの実行方法が変わる可能性があります。現時点では未マージです。

2026-10-21

推論系統

llm-d、マルチテナントのトラフィック制御と安定版APIで分散推論の運用を強化する1.0を発表

llm-dは10月20日に1.0を発表し、マルチテナントのサービス品質、協調アップグレード、エージェントセッションのルーティングを推論スタックに取り込みました。安定版のv1設定APIを提供する一方、優先度ポリシーは明示的な設定が必要で、フェイルオーバー機能にも今後の開発項目が残っています。

2026-10-20

GitHub Repo

Open WebUI、コンテキスト圧縮の制限を明確化　巨大な単一ターンの応答で会話がコンテキストウィンドウを超える可能性

10月20日のOpen WebUIの技術議論では、少数のメッセージに大量のツール出力が含まれると、しきい値を超えてもコンテキスト圧縮が実行されない場合があると指摘された。プロジェクトメンバーは、これは所定の切り分け動作だと説明し、新版で導入されたツールターン間の圧縮により問題を軽減できるものの、既存のすべての会話を直接復旧できるわけではないと述べた。

2026-10-21