Archive
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
LMDeploy 0.17.0は、TurboMindにDeepEPv2のexpert parallelバックエンドを追加し、KV connectorをMooncake Storeに接続した。新バージョンはKimi K2.6、2の累乗に限定されないページサイズ、構造化レスポンスにも対応するが、ハードウェアをまたぐエンドツーエンドの性能データは示されていない。
代理工具
OpenAIはMCPツールごとの出力token上限を導入し、app-serverのshellコマンドを1時間以上実行できるようにした。新版では履歴圧縮後にユーザーの指示や承認が失われる問題も修正された一方、組み込みの計画ツールはデフォルトで無効化された。
AI 安全
F5はDistributed Cloud WAFに異常検知とエージェント型脅威インテリジェンスを追加し、脆弱性スキャン結果をランタイムのブロック処理に連携させた。新機能は露出期間を短縮できる一方、検知率、誤検知率、レイテンシーについては、依然としてベンダーによるテストデータしか示されていない。
AI 基礎設施
HUMAINはサウジアラビアで、AMD MI355X、EPYC、Cisco Silicon Oneネットワークを基盤とする本番環境向けGPUサービスの提供を開始した。これにより提携プロジェクトは「計画段階の容量」という域を越えたが、250 MWと1 GWは依然として、それぞれ2027年以降と2030年までの目標である。
AI 基礎設施
EuroHPCとBullは3億8,780万ユーロの契約を締結し、AMD MI430Xと第6世代EPYCを中核とするLUMI-AIをフィンランドに導入する。システムは2027年の稼働開始を予定しているが、AI能力10倍という数値はまだ計画段階であり、ノード数、インターコネクト、ストレージ構成の全容は公表されていない。
推論系統
NVIDIA Triton Inference Server 2.72.0では、リクエストが残っているにもかかわらずスケジューラが処理の割り当てを停止する可能性がある問題を修正し、`preserve_ordering`の完了順序セマンティクスを復元した。CUDA、TensorRT、gRPCの依存パッケージも更新された一方、TensorRT-LLMイメージは提供されず、vLLM／Rayデプロイには引き続きセキュリティ警告が付されている。
最新模型
清華大学のチームは、RTX 5090、ブロック単位FP8、MuonHを用いて20億パラメータモデルをゼロから学習し、重み、データ、コードを公開した。低予算のチェックポイントは、チームによる15項目の評価でQwen2-1.5Bを上回ったが、このコストはGPUレンタル相当額のみを算入したものであり、研究開発予算の総額とはみなせない。
推論系統
vLLM 0.28.0では、KVキャッシュを階層化してディスクへオフロードできるようになり、外部のセカンダリストレージマネージャーも利用可能になった。これにより、長いコンテキストを扱うサービスは、GPUおよびメインメモリの容量だけに制約されなくなる。新バージョンではKimi-K3、DeepSeek V4、投機的デコード、E/P/D分離も進展した一方、複数のデフォルト値と依存インターフェースが変更されている。
代理工具
Hillockは、事実トリプル、Hebbian連想重み、1万次元のハイパーベクトルを組み合わせ、ローカルハードウェア上で質問に回答できるデータがあるかを事前に判定する。0.6ではtoken単位のMaxSimとマルチホップ経路エンコーディングが追加されたが、ゲート精度は現時点で約56%にとどまり、依然として研究プロトタイプの段階にある。
硬體
Sopro V2 Turboは、500Mパラメータの教師モデルを120Mパラメータへ蒸留し、さらにreflowによって音響ソルバーを32ステップから2ステップへ短縮した。M3 CPUでは約300ミリ秒で最初の音声チャンクを出力でき、ブラウザ推論にも対応するが、現時点で利用できるのは欧州の4言語のみで、訓練コードは公開されていない。
推論系統
llama.cpp b10687は、Snapdragon X2および旧世代のA7X GPUにおいて、OpenCLコンパイラが選択していた非効率な行列乗算パスを回避する。メンテナーの測定では、gpt-oss-20bとGemma 3nのプロンプトのプリフィルがそれぞれ約20～25%、9%高速化した一方、token単位のデコード速度は向上していない。
最新模型
FastVideoはDMD2蒸留と90%のスパース・アテンションにより、ベースモデルの49回のDiT呼び出しを4回に削減し、完全な重みとLoRAを公開した。リアルタイム生成の数値はB200×8基、専用VSAカーネル、ウォームアップ後のテストを前提としており、単一GPUや一般消費者向けGPUではまだ同等の速度に達していない。