Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
智譜は、総パラメータ数320B、token当たり18Bをアクティブ化するネイティブ・マルチモーダルモデルGLM-5.3-Flashを公開し、重みをMIT Licenseでリリースした。新アーキテクチャはGLM-5.3と比べ、アテンション計算量を3分の1、KV cacheを約4.4分の1に削減するとしているが、「Flash」といっても一般的なワークステーションで容易にデプロイできるわけではない。
推論系統
Unoは、自己回帰LLMに軽量な拡散重みを追加し、Ψ-Specによって複数のtokenを一度に提案しながら、元のモデルのサンプリング分布を維持する。著者らは最大3倍の高速化を報告しているが、現時点の数値は研究チームが使用した特定のモデル、ハードウェア、推論エンジンに基づくものだ。
GitHub Repo
新バージョンではParity-aware BPEを追加し、各マージで全体の最高頻度だけを追求するのではなく、圧縮効率が最も低い言語の改善を優先する。この機能は新しい語彙表の訓練に利用できるが、既存モデルにおける中国語のtokenコストを自動的に改善するものではない。
最新模型
GWM Worlds 2は、自己回帰拡散、因果映像デコーダー、構造化されたWorldPromptを組み合わせ、テキストによるアクション指示とカメラ信号で連続的な世界をリアルタイム制御できる。システムは依然としてクローズドな研究プレビュー段階にあり、高速なカメラワーク、長期的一貫性、再現可能な評価には明らかな課題が残る。
最新模型
Ant GroupのinclusionAIは、LLaDA-Imageの重みとDiffusers推論コードを公開した。単一モデルでテキストからの画像生成、参照画像の編集、中国語・英語テキストのレンダリングを処理できる。蒸留版はTwin-DMDにより推奨サンプリングステップ数を50から4へ削減したが、学習コードの公開と独立した性能検証はまだ十分ではない。
推論系統
新しいオープンソース推論サーバー「Magnitude」は、ハードウェアを実測したうえで、モデル、量子化、コンテキスト長、推定速度を組み合わせた完全な構成を提案する。ローカルエージェントで設定ミスが起きやすいメモリと並行処理のパラメータを自動化する一方、現時点での性能とモデル品質は、主にプロジェクト側のカタログとテストに依存している。
AI 平台與基礎設施
NVIDIAはHugging Faceの買収に合意し、モデル、データセット、アプリケーション、推論サービスの重要な配信ハブを手に入れる。同社は、プラットフォームをNVIDIA製ハードウェアにロックインしないと約束しているが、買収後の実際のガバナンス、表示順位、異種ハードウェア向け最適化については、引き続き検証が必要だ。
最新模型
Hcompanyは、2.6億および8億パラメータのNeoMMEをオープンソース化した。テキストtokenと元画像のpatchが同じエンコーダーを共有し、視覚塔や因果デコーダーを追加する必要がない。検索版はdense表現とlate-interaction表現を同時に出力するが、効率と精度に関する数値は現時点で主に作者による評価に基づいている。
推論系統
PAIRはOllama、LM Studio、エージェントの間に互換プロキシ層を追加し、モデルの配置場所とGPU負荷に基づいて、個々のリクエストをローカルネットワーク内のPCへ振り分ける。向上するのはワークロードの並列性であり、VRAMを統合したり、単一の推論を複数のGPUに分割したりするものではない。
推論系統
HeadWiseKVは、すべてのアテンションヘッドに同一の履歴を保持させる方式を改め、各headの多段階ウィンドウをオフラインでキャリブレーションし、実際の物理KV residencyを削減する。論文では、モデルを固定したテストで最大成功コンテキスト長を114Kから161Kへ延長したが、公開リポジトリのさらに大きな数値は、特定の量子化方式と単一の4090Dを使用した結果である。
硬體
MobiCom 2026の研究では、モデル重みとKV cacheを共有バッファに分割し、CPUが退避されたデータを復元している間にGPUがprefillを開始できるようにした。成果の焦点は、スマートフォンでのマルチタスク後に生じる復帰遅延の改善であり、モデル自体の生成速度向上ではない。
推論系統
`@huggingface/kernels`は、インターフェース、テスト、WGSL実装を備えたGPU演算子をHubから動的に読み込める。公式のApple M4上での演算子単位のテストでは、幾何平均で2.57倍の高速化が報告されたが、この結果にはモデルの読み込み、コンパイル、データ転送のコストは含まれていない。