Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
Intern-S2-Mobiusは、従来のTransformerで各層に結び付いていた知識ストレージと注意機構による推論を分離し、複数のReasonerが同一のグローバルMemoryを繰り返し参照できるようにする。オープンウェイトはLMDeploy、vLLM、Transformersで読み込めるが、約4倍という高速化は、あくまで公式の特定ベンチマークにおける結果だ。
最新模型
QwenはQwen3.8-27Bの重みを公開した。64層のGated DeltaNet／Gated Attentionハイブリッド構成によって長大なコンテキストのコストを抑えつつ、ネイティブな視覚理解と調整可能な推論深度を提供する。公式のエージェント評価では大幅な向上が示されているが、一部のデータセット、修正版の問題、実行フレームワークはQwen自身が設定しているため、ベンダー横断の公平なランキングと直接見なすことはできない。
推論系統
FreeBalanceは前層の残差状態から次層のエキスパート負荷を予測し、重みの交換とattention計算をオーバーラップさせる。最終的なルーティングやモデル出力は変更しないが、現時点での検証範囲は2つのMoEモデル、単一の8 GPUトポロジー、prefillワークロードに限られる。
推論系統
DeepSeekはV4 FlashとProに時間帯別料金を導入し、ピーク時間帯の価格をオフピークの2倍に設定した。最も大きな影響を受けるのは通常の入力ではなく、長い会話やコーディングエージェントで大量に使用されるキャッシュヒットtokenだ。
最新模型
OracleがGrok 3、Grok 4、および複数のFast、Mini、Codeエンドポイントに設定した8月15日の廃止日を迎えた。これはモデルエイリアスの透過的な切り替えではない。OCIユーザーはモデルIDを変更し、推論パラメータ、画像の制限、リージョンでの提供状況を改めて検証する必要がある。
推論系統
新版では、モデルの前処理レイヤーにある2つの互換性上の問題を修正した。WebP 画像は事前にトランスコードされ、Qwen renderer も system message が必ず先頭にあることを要求しなくなった。新モデルや kernel に関する変更ではないものの、マルチモーダル処理やエージェント対話が推論コアに到達する前に失敗する事態を防げる。
最新模型
GCacheは、隣接するノイズ除去ステップ間の局所的な差異を比較するだけでなく、キャッシュ誤差が最終的な画像や動画に及ぼす累積的な影響を推定する。動的計画法でキャッシュの更新点を選択し、さらにBayesian optimizationによって理論上の重みを実際の生成品質に整合させる。
推論系統
FlashDriveは、動画のKVを再利用し、推論tokenのドラフト生成を並列化するとともに、フローマッチングで変化の小さいステップをキャッシュする。論文ではRTX PRO 6000上で4.7倍の高速化と、軌跡誤差がほぼ変わらないことを報告しているが、現時点ではシミュレーション環境と単一のモデルスタックで得られた結果にとどまる。
推論系統
新版では、Kimi K3のテキストモデル、KDA／MLAハイブリッドAttention、latent MoE、ツール呼び出し解析に対応。コンバーターがMXFP4のビット配置を直接並べ替えるため、2.8Tモデル全体をいったんBF16へ展開する必要がない。
最新模型
従来のLoRA読み込みパスでは、テンソルのオフセットとサイズの合計がGGUFファイルの範囲を超えていないか検証しておらず、破損またはダウンロード未完了のadapterでも正常に読み込まれたと見なされる可能性があった。b10451では即座にエラーを返し、テンソルのインデックスが実際に存在することも確認する。
GitHub Repo
NInferのAmpereブランチは、Qwen3.8-27B、MTP3、paged KV、互換プレフィックス再利用を1枚の24GB RTX 3090に収めた。作者の測定では、8並列デコードの合計は165.33 token／秒に達したが、結果は短いプロンプトと長い出力を組み合わせた固定ワークロードに限られている。
推論系統
コミュニティによる実機検証では、Apple Silicon向け推論フレームワークは、組み込みMTPによる投機的デコーディング、ハイブリッド状態のプレフィックスキャッシュ、バッチ処理を同時かつ安定して提供できていない。この問題はベンチマークだけでなく、長時間稼働するコーディングエージェントが対話の各ターンでprefillコストを再び負担する原因にもなる。