Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
Microsoft は10月9日、Qwen3.5-9B を後学習した Microsoft-Decision-1 を公開した。分類、ルーティング、エージェントのアクション評価を対象に、あらかじめ定めた選択肢の確率を返す。モデルは Foundry と OpenRouter で提供されているが、性能と信頼度のキャリブレーションは実際のワークロードで検証する必要がある。
GitHub Repo
Microsoftは10月9日、ONNX Runtime 1.31.0をリリースした。モデルパッケージとEPContextデータのインターフェースを安定APIに昇格させ、CPUでのモデル読み込みと量子化MoEの実行を改善した。新バージョンはPyPIで公開済みだが、GPUプラグインを使うチームは演算子スキーマの互換性を確認し、実際の性能を自ら測定する必要がある。
最新模型
JetBrainsは10月8日、Mellum2.1 Thinkingをリリースした。12BのMoEアーキテクチャを維持し、実際のソフトウェア環境での強化学習に重点を置く。ウェイトはApache 2.0ライセンスで公開されるが、エージェント評価はベンダーによる自己申告であり、量子化後のデプロイも別途検証が必要だ。
GitHub Repo
10月7日のPyTorchとTorchTitanの報告によると、copy-on-writeテンソルがCUDA Graphのキャプチャ中に実体化されると、コピー操作が記録されず、リプレイ時に誤った結果が生じる可能性がある。最小再現例とMoE推論の比較結果が示されているが、正式版への影響範囲と上流での修正は未確認だ。
最新模型
Anthropicは10月7日、推論強度を調整できるClaude Haiku 5.5を発表し、短いプロンプトのリクエストではtoken単価を引き下げました。AWSでも同時に提供が始まりましたが、長いプロンプトの料金、リージョン間ルーティング、実タスクのコストはそれぞれ別途評価が必要です。
GitHub Repo
10月7日の開発版での再現報告によると、QuantizedCacheはプレフィックスを再利用した後に複数のトークンを追加すると、設定したしきい値を超える全精度キャッシュを保持する可能性がある。重みをダウンロードせずに試せるケースが示されているが、メンテナーの確認はなく、GPUメモリーや出力品質への影響も検証されていない。
最新模型
Liquid AIは10月7日、d1-3Bと実験的なd1-omni-600Mを公開した。モデルは回答を逐語的に生成せず、構造化された判断を直接返す。ローカル環境やJetsonへのデプロイ例がある一方、低遅延の数値はウォームアップ条件に依存し、評価結果も主にベンダーによるテストに基づく。
最新模型
Googleは10月6日、EmbeddingGemma 2を公開した。テキスト、コード、画像、動画、音声を共通のベクトル空間に写像し、Apache 2.0ライセンスで重みを公開する。用途に応じてエンコーダーを読み込める一方、量子化時のメモリ使用量と全精度での評価結果は分けて解釈する必要がある。
GitHub Repo
10月7日に公開されたOllamaコミュニティのテストでは、M5 Pro上でMLX量子化形式を使った3種類の意思決定モデルは、長いプロンプトのリクエスト遅延がBF16より大きかった。報告には測定方法と再現手順が添えられているが、逆量子化がボトルネックなのかは、メンテナーによる確認を待つ必要がある。
GitHub Repo
10月6日のコミュニティ報告によると、別の大型モデルが2基のGPUを使用中にQwen3-VLへ画像をリクエストすると、推論プロセスが連続してクラッシュする場合がある。報告にはコアダンプのスタックトレースが添付されているが、VRAMの逼迫とヌルポインターとの因果関係は、メンテナーによる確認を待っている。
GitHub Repo
10月6日のコミュニティ報告によると、Hermes Agentをカスタムモデルプロキシに接続すると、コンテキスト長のキャッシュと手動上書きがプロキシの起動を妨げる可能性がある。上書きが無効になる問題への修正案が提出されたが、まだドラフトであり、キャッシュの期限切れ問題には対応していない。
GitHub Repo
10月5日のPyTorchコミュニティによる再現報告によると、特定のクリッピングとスケーリングの組み合わせで、Inductorが加算のalpha係数を落とす可能性がある。修正案は10月6日に提出されたが、まだマージされておらず、学習全体への影響は未検証だ。