最新模型
JetBrains、Mellum2.1のオープンウェイトを公開 実リポジトリでの強化学習によりコーディングエージェントを強化
JetBrainsは10月8日、Mellum2.1 Thinkingをリリースした。12BのMoEアーキテクチャを維持し、実際のソフトウェア環境での強化学習に重点を置く。ウェイトはApache 2.0ライセンスで公開されるが、エージェント評価はベンダーによる自己申告であり、量子化後のデプロイも別途検証が必要だ。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
GitHub Repo
PyTorch開発版でCUDA Graphのコピー不具合が報告、遅延コピーされたテンソルがリプレイ時に古いデータを読む可能性
10月7日のPyTorchとTorchTitanの報告によると、copy-on-writeテンソルがCUDA Graphのキャプチャ中に実体化されると、コピー操作が記録されず、リプレイ時に誤った結果が生じる可能性がある。最小再現例とMoE推論の比較結果が示されているが、正式版への影響範囲と上流での修正は未確認だ。
最新模型
Anthropic、Claude Haiku 5.5を発表。Haiku初の推論強度制御とプロンプト長別料金を導入
Anthropicは10月7日、推論強度を調整できるClaude Haiku 5.5を発表し、短いプロンプトのリクエストではtoken単価を引き下げました。AWSでも同時に提供が始まりましたが、長いプロンプトの料金、リージョン間ルーティング、実タスクのコストはそれぞれ別途評価が必要です。
GitHub Repo
Ollamaコミュニティがストリーミングエラー診断の修正を提案、Windowsで長いプロンプトのリクエストが推論完了後に500を返す可能性
10月7日のOllamaコミュニティの事例によると、Windowsでは長いプロンプトのリクエストが内部で生成を完了していても、JSON解析エラーを返すことがあります。新たな修正案は隠れていた転送エラーを明らかにすることを目指していますが、まだマージされておらず、接続が中断する根本原因も解決していません。
GitHub Repo
Transformersコミュニティが量子化キャッシュの不具合を報告、一括でのトークン追加で全精度バッファーがしきい値を超える可能性
10月7日の開発版での再現報告によると、QuantizedCacheはプレフィックスを再利用した後に複数のトークンを追加すると、設定したしきい値を超える全精度キャッシュを保持する可能性がある。重みをダウンロードせずに試せるケースが示されているが、メンテナーの確認はなく、GPUメモリーや出力品質への影響も検証されていない。
最新模型
Liquid AI、d1決定モデルの重みを公開 1回のフォワード推論でテキストと画像を分類
Liquid AIは10月7日、d1-3Bと実験的なd1-omni-600Mを公開した。モデルは回答を逐語的に生成せず、構造化された判断を直接返す。ローカル環境やJetsonへのデプロイ例がある一方、低遅延の数値はウォームアップ条件に依存し、評価結果も主にベンダーによるテストに基づく。
最新模型
Google、モジュール式エンコーダーでオンデバイスのマルチモーダル検索を支える「EmbeddingGemma 2」を発表
Googleは10月6日、EmbeddingGemma 2を公開した。テキスト、コード、画像、動画、音声を共通のベクトル空間に写像し、Apache 2.0ライセンスで重みを公開する。用途に応じてエンコーダーを読み込める一方、量子化時のメモリ使用量と全精度での評価結果は分けて解釈する必要がある。
GitHub Repo
Ollamaコミュニティの実測：M5 Proでは量子化された意思決定モデルのプロンプト処理がBF16より遅い
10月7日に公開されたOllamaコミュニティのテストでは、M5 Pro上でMLX量子化形式を使った3種類の意思決定モデルは、長いプロンプトのリクエスト遅延がBF16より大きかった。報告には測定方法と再現手順が添えられているが、逆量子化がボトルネックなのかは、メンテナーによる確認を待つ必要がある。
GitHub Repo
Ollamaコミュニティ、2モデル同時ロード時のクラッシュを報告 Qwen3-VLの画像エンコード段階でGPU割り当てエラー
10月6日のコミュニティ報告によると、別の大型モデルが2基のGPUを使用中にQwen3-VLへ画像をリクエストすると、推論プロセスが連続してクラッシュする場合がある。報告にはコアダンプのスタックトレースが添付されているが、VRAMの逼迫とヌルポインターとの因果関係は、メンテナーによる確認を待っている。
GitHub Repo
Hermes Agentコミュニティ、コンテキスト上書きの修正を提案 カスタムプロバイダー名の変換で設定が無効になる可能性
10月6日のコミュニティ報告によると、Hermes Agentをカスタムモデルプロキシに接続すると、コンテキスト長のキャッシュと手動上書きがプロキシの起動を妨げる可能性がある。上書きが無効になる問題への修正案が提出されたが、まだドラフトであり、キャッシュの期限切れ問題には対応していない。
GitHub Repo
PyTorchコミュニティが係数の乗算漏れを報告、2.14のCUDAモメンタム更新で値が10倍になる可能性
10月5日のPyTorchコミュニティによる再現報告によると、特定のクリッピングとスケーリングの組み合わせで、Inductorが加算のalpha係数を落とす可能性がある。修正案は10月6日に提出されたが、まだマージされておらず、学習全体への影響は未検証だ。
GitHub Repo
Ollamaコミュニティがストリーム順序の修正を提案、テキストからツール呼び出しへの移行でResponsesクライアントが拒否する可能性
10月5日のコミュニティ報告によると、Ollamaはテキストを出力した後にツールを呼び出す際、出力インデックスを再利用し、メッセージ完了イベントを送信し損ねる可能性がある。修正案には回帰テストが含まれるが、まだマージされておらず、実際のモデル推論でも検証されていない。