推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

Ollamaコミュニティがストリーム順序の修正を提案、テキストからツール呼び出しへの移行でResponsesクライアントが拒否する可能性

10月5日のコミュニティ報告によると、Ollamaはテキストを出力した後にツールを呼び出す際、出力インデックスを再利用し、メッセージ完了イベントを送信し損ねる可能性がある。修正案には回帰テストが含まれるが、まだマージされておらず、実際のモデル推論でも検証されていない。

2026-10-03

GitHub Repo

Ollamaコミュニティがリクエスト解析の修正を提案、JSON末尾の余分なデータが無視され推論が実行される可能性

Ollama 0.35.1でのコミュニティによる再現では、生成エンドポイントが有効なJSONの後に非JSONテキストが続くリクエストを受け取り、成功を返してモデルを実行する可能性が示された。10月3日にリクエスト全体を検証する修正が提案されたが、まだマージされていない。

2026-10-05

GitHub Repo

Ollamaコミュニティ、MLXの混合量子化モデル読み込み不具合を報告　インポート成功後も推論できない可能性

Ollama 0.35.1のコミュニティ事例では、MLXモデルの層ごとの量子化設定が正しく適用されず、読み込み時にテンソル形状の不一致が生じる可能性が示された。モデル設定から混合精度の使用は確認できるが、根本原因と他モデルへの影響範囲は上流での確認を待つ。

2026-10-05

GitHub Repo

vLLMコミュニティがバッチ不変性のコールドスタート不具合を報告、特定の推論経路で誤ったトークンが一貫して生成される可能性

vLLM開発版での再現例によると、バッチ不変性を有効にしても、モデル情報キャッシュやモジュールのインポート順序によって推論結果が変わる可能性がある。コミュニティから修正案が提出されたが、まだマージされておらず、正式リリースや他のハードウェアへの影響範囲は確認中だ。

2026-09-27

GitHub Repo

Transformersコミュニティがトークナイザー設定の不整合を報告、DeepSeekモデルで中国語入力が気付かれず失われる可能性

Transformers 5.8.1での再現報告によると、特定のDeepSeekモデルが誤ったトークナイズ処理を読み込み、中国語入力が消失したり、英語の空白が失われたりする可能性がある。現行の開発版ドキュメントには設定不整合時のフォールバック機構が記載されているが、この事例が各バージョンで修正済みかどうかは未確認だ。

2026-10-04

Aleph Alpha、78B MoEモデル「Kolibri-1」を公開　混合アテンションで100万トークンのコンテキストに対応

Kolibri-1はApache 2.0ライセンスのオープンウェイトモデルで、トークンごとの有効化パラメーター数は約3.46B。ドイツ語・英語のバイリンガル利用、文書処理、ツール呼び出しを主な用途とする。100万トークンのコンテキストウィンドウは、ネイティブの256kの学習長を超えて拡張したもので、公式は複雑なタスクにはより短いコンテキストを推奨している。

2026-10-04