SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

推論系統

Atlas、純Rust／CUDA推論エンジンで単一GB10上のvLLMに挑み、高並行時のスループットで最大22.5％高速化

Atlasは、DGX Spark上でQwen3.8-27B-NVFP4を使用した再現可能なベンチマークを公開し、並行数1～128のすべてでvLLMを上回った。ただし、結果は単一モデルかつ短い入力・長い出力のワークロードに限られており、一般的なデータセンター環境へそのまま一般化することはできない。
RAG／向量檢索

txtai 9.13はColBERTのマルチベクトルを単一インデックスに圧縮、大規模コーパスではFaissの再調整が必要

txtai 9.13はLEMURを正式に統合し、学習ベースの固定次元ベクトルによってtoken単位のMaxSimスコアを近似する。初期テストではインデックス容量と検索品質を両立したが、デフォルトのIVFは大規模データセットで再現率を大幅に低下させる可能性がある。
最新模型

BPCO、単一ロールアウトでLLM criticを訓練し、GRPOの複数応答によるグループ内比較を代替

BPCOは、制約付きvalue head、Monte Carlo target、長さ適応型GAEを組み合わせ、criticが単一応答からtoken単位のadvantageを推定できるようにする。著者らは1.5Bから30B-A3Bまでのモデルで複数サンプル手法と同等以上の性能を達成したが、総訓練コストが低いことはまだ実証していない。
推論系統

vLLM、Ironwood TPUで16K埋め込みをサポート、StepPoolが分割prefillの状態を保持

GoogleとvLLMは、Qwen3埋め込みモデル向けにテンソルのアラインメント、コンパイルのウォームアップ、分割をまたいで蓄積可能なpooling状態を追加した。公式発表では4基のIronwood TPU上で約8万4,000 token/sを記録したが、同等コストのGPUとの比較や実環境での検索品質テストはまだ示されていない。
最新模型

Granite 4.2、エージェント環境での強化学習により8B／30Bモデルを訓練、FP4・FP8・GGUF版も公開

IBMは、Apache 2.0ライセンスの3B、8B、30BのDenseモデル3種を公開した。切り替え可能な推論モードとネイティブなツール呼び出しに対応する。8Bと30Bはさらに、コードリポジトリ、ターミナル、検索サンドボックスでエージェント型強化学習を行っているが、基礎訓練の経緯に関する公式情報の記述には食い違いがある。
硬體

OpenAIのJalapeño、3つのオープンモデルでワット当たりスループットが1.5～1.9倍に。ただし長コンテキストのエージェント負荷は未検証

OpenAIは、自社開発の推論ASICの実測結果を初めて公開し、単一のアクセラレータアーキテクチャでprefillとdecodeの両方を処理した。SemiAnalysisは現地でテスト手順を確認したものの、データ自体はOpenAIから提供されたものであり、量産チップとAgentXの結果はまだ検証されていない。
GitHub Repo

Transformers 5.16、並列化バックエンドをDTensorに移行し、NVFP4とレイヤー単位のKV cache設定を追加

Hugging Faceの新版では、従来のtensor-parallel実装がDTensorに置き換えられ、初期段階のpipeline-parallel推論とNVFP4によるオンザフライ量子化も追加された。今回のアップグレードではTP、Fuyu、一部の音声モデルの挙動も変更されるため、既存の学習・推論パイプラインでは回帰テストが必要となる。
代理工具

Planetary Prediction Engine、地理データとモデルを自動構成——エボラ流行ホットスポットでRecall@10が83.3%に

Googleのチームが提案したPPEは、自然言語による問いを、データ検索、特徴量融合、モデル選択、地理予測パイプラインへ変換する。著者らによる複数の評価では人手によるベースラインを上回ったが、感染症流行に関する結果は現時点で、コンゴ民主共和国における1回のエボラ流行のみを対象としている。
最新模型

Code World Model、実行可能なプログラムで世界状態を保持し、動画モデルでレンダリング

新たなフレームワークでは、coding agentがルールと長期的な帰結を管理し、状態を深度およびセマンティックproxy videoへコンパイルして、MiniMax-H3による映像生成を制約する。プロトタイプでは5組の制御されたシーンが示されたが、定量ベンチマーク、アブレーション実験、リアルタイム生成結果は提示されていない。
最新模型

GLM-5.3-Flash、線形／疎混合アテンションでアクティブパラメータを18Bに削減

Z.aiは、初のネイティブ・マルチモーダルGLM-5モデルを公開した。総パラメータ数320Bのうち、各回でアクティブになるのは18Bのみで、最大100万tokenをサポートする。公式測定では、GLM-5.3と比べてアテンション演算量を3分の1、KV cacheを4.4分の1に削減したとしているが、性能とコストは依然として主にベンダー自身による評価に基づく。
推論系統

vLLM 0.28.0、Kimi K3の共有エキスパートをシャーディングし、GPU 1基あたり約17 GiBの重みメモリを削減

新版ではDecode Context Parallel、融合FlashKDAカーネル、適応型speculative token予算も導入され、DeepSeek V4の疎なMLAが通常デコードとspeculative decodingの両方で利用可能になった。一部の速度値は個別カーネルまたは特定のDSpark構成のみを測定したものであり、アップグレード前にはデフォルト値とプラグインインターフェースの破壊的変更にも対処する必要がある。