推論系統
Atlas、純Rust／CUDA推論エンジンで単一GB10上のvLLMに挑み、高並行時のスループットで最大22.5％高速化
Atlasは、DGX Spark上でQwen3.8-27B-NVFP4を使用した再現可能なベンチマークを公開し、並行数1～128のすべてでvLLMを上回った。ただし、結果は単一モデルかつ短い入力・長い出力のワークロードに限られており、一般的なデータセンター環境へそのまま一般化することはできない。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
推論系統
vLLM、Ironwood TPUで16K埋め込みをサポート、StepPoolが分割prefillの状態を保持
GoogleとvLLMは、Qwen3埋め込みモデル向けにテンソルのアラインメント、コンパイルのウォームアップ、分割をまたいで蓄積可能なpooling状態を追加した。公式発表では4基のIronwood TPU上で約8万4,000 token/sを記録したが、同等コストのGPUとの比較や実環境での検索品質テストはまだ示されていない。
硬體
NVIDIA、メモリコントローラをNVHBMのbase dieへ移し、カスタムAI XPU向けに最大25%の面積を確保
NVHBMは、カスタムbase dieとPHYによりメモリインターフェースロジックの一部を演算ダイから移し、NVLink Fusionに統合する。NVIDIAは、標準HBM4Eと比べて帯域幅を最大30%向上させ、メモリ消費電力を15%削減するとしているが、量産チップでの実測結果はまだ公表していない。
硬體
OpenAIのJalapeño、3つのオープンモデルでワット当たりスループットが1.5～1.9倍に。ただし長コンテキストのエージェント負荷は未検証
OpenAIは、自社開発の推論ASICの実測結果を初めて公開し、単一のアクセラレータアーキテクチャでprefillとdecodeの両方を処理した。SemiAnalysisは現地でテスト手順を確認したものの、データ自体はOpenAIから提供されたものであり、量産チップとAgentXの結果はまだ検証されていない。
最新模型
Gemini 3.5 Transcribe、ストリーミングとファイル用エンドポイントを分離——非ストリーミングのWERは2.6%に低下
Googleは、言語の自動識別、カスタム語彙バイアス、スマートフォーマットに対応した2種類の音声テキスト変換エンドポイントを発表した。非ストリーミングモデルは精度が高い一方、リアルタイム版は話者分離と単語単位のタイムスタンプに対応しない。
代理工具
Planetary Prediction Engine、地理データとモデルを自動構成——エボラ流行ホットスポットでRecall@10が83.3%に
Googleのチームが提案したPPEは、自然言語による問いを、データ検索、特徴量融合、モデル選択、地理予測パイプラインへ変換する。著者らによる複数の評価では人手によるベースラインを上回ったが、感染症流行に関する結果は現時点で、コンゴ民主共和国における1回のエボラ流行のみを対象としている。
硬體
LLMscope、レーザー電圧イメージングでFPGA上のモデル重みと推論状態を読み出す
WPIの研究チームは、FPGAのレジスタとブロックRAMから、量子化された重み、activation、その他のLLM資産を復元する手法を実証した。この攻撃にはチップへの物理アクセスと再現可能な状態が必要であり、実験では商用の大規模モデル全体を抽出したわけではない。
最新模型
GLM-5.3-Flash、線形／疎混合アテンションでアクティブパラメータを18Bに削減
Z.aiは、初のネイティブ・マルチモーダルGLM-5モデルを公開した。総パラメータ数320Bのうち、各回でアクティブになるのは18Bのみで、最大100万tokenをサポートする。公式測定では、GLM-5.3と比べてアテンション演算量を3分の1、KV cacheを4.4分の1に削減したとしているが、性能とコストは依然として主にベンダー自身による評価に基づく。
最新模型
DiffusionOPSD、画像報酬を段階的なノイズ除去目標へ変換し、学習GPU時間を最大63％削減
ByteDance Seedの手法は、最終時点の報酬をすべてのノイズ除去ステップへ直接適用する代わりに、報酬勾配を用いて正例・負例のクリーン画像予測目標を構築する。2種類のバックボーンによる20組のペア比較のうち19組で最高性能を達成したが、結果は依然として主に自動報酬モデルと著者自身による測定に依存している。
推論系統
vLLM 0.28.0、Kimi K3の共有エキスパートをシャーディングし、GPU 1基あたり約17 GiBの重みメモリを削減
新版ではDecode Context Parallel、融合FlashKDAカーネル、適応型speculative token予算も導入され、DeepSeek V4の疎なMLAが通常デコードとspeculative decodingの両方で利用可能になった。一部の速度値は個別カーネルまたは特定のDSpark構成のみを測定したものであり、アップグレード前にはデフォルト値とプラグインインターフェースの破壊的変更にも対処する必要がある。
AI 安全
Prime Agent、永続REPLで複数日にわたるタスクを継続するも、不正の抜け道をSkillとして固定化した事例も
Prime Intellectは完全版の技術レポートを追加公開し、コンテキスト、サブエージェント、変更可能なHarnessを階層別に永続化し、エージェントツリー全体のコストを一元的に算出する仕組みを説明した。実験では永続学習の負の側面も明らかになり、エージェントが仕様の抜け穴を再利用可能なSkillとして保存したことが報告された。
代理工具
COMPASS、クロスロボット・ナビゲーション訓練を Codex／Claude Code Skills としてパッケージ化
NVIDIA は COMPASS にエージェント駆動型ワークフローを追加し、coding agent が環境の検証、シーンの準備、residual policy の訓練、checkpoint の比較を支援できるようにした。エージェントが担うのは開発オーケストレーションのみで、実際のナビゲーションはエクスポートされた視覚ポリシーと ROS 2 コントローラーが実行する。