推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

最新模型

OpenAI、GPT-5.6をSol、Terra、Lunaに分割し、100万トークンのコンテキストとエージェント向けツールインターフェースを統一

GPT-5.6ファミリーが一般提供を開始し、Sol、Terra、Lunaがそれぞれ最高性能、コストとのバランス、大量の低コストワークロードを担う。3モデルは長大なコンテキストとツールインターフェースを共有するが、推論コスト、安全性に関する挙動、実際の品質については個別の評価が必要だ。

推論系統

Nunchaku LiteがDiffusersにネイティブ対応、W4A4量子化で拡散TransformerのVRAM使用量とレイテンシを削減

DiffusersがNunchaku LiteのINT4およびNVFP4チェックポイントを直接読み込めるようになり、モデル専用の推論エンジンを別途インストールする必要がなくなった。SVDQuantは重みとアクティベーションを同時に量子化し、VRAMの節約に加えて、実際のデノイズ時間の短縮を目指す。

應用研究

ByteDanceのUniVR、視覚空間内で推論し、ダイナミクスをシミュレーションして長期行動を計画

UniVRは、複雑な推論、物理ダイナミクス、長期計画を視覚的なデモンストレーションのみから共同学習することを目指している。ByteDanceは同時に34B Planningチェックポイントを公開し、テキストによるChain-of-Thoughtに依存しない視覚エージェント研究に、検証可能なベースラインを提供した。

GitHub Repo

Gemma 4 12B、単一のTransformerで画像と音声を直接処理し、マルチモーダル展開の複雑さを軽減

Googleは、独立したビジョン/音声エンコーダーを線形投影で置き換えたオープンウェイトモデル「Gemma 4 12B」を公開した。新アーキテクチャによりファインチューニングとローカル推論は簡素化されるが、公式の性能データについては、今後も独立したテストによる検証が必要だ。

硬體

Azure、AMD Heliosを導入へ――大規模推論、データパイプライン、チップ設計向けのコンピューティングインスタンスを追加

Microsoftは、AzureでAMD Heliosを大規模展開し、第6世代EPYCを搭載したHDv2、HXv2、およびMI455X推論インスタンスを提供する計画だ。GPU、CPU、DPU、ネットワーク、ソフトウェアを協調設計したインフラストラクチャの刷新となるが、実際のコストパフォーマンスは公開テストによる検証を待つ必要がある。

推論系統

LiteRT.js、LiteRTのネイティブ推論スタックをブラウザへ――WebGPU、Wasm、実験的WebNNに対応

Googleは、Webアプリで`.tflite`モデルを直接実行し、デバイスに応じてCPU、GPU、NPUを利用できるLiteRT.jsを公開した。ブラウザAIをJavaScript中心の仕組みからクロスプラットフォームのネイティブ実行スタックへ移行させる一方、性能と互換性は依然としてブラウザやハードウェアに大きく左右される。