Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
VIDRAFTは、Fast Gemma Challengeで検証済みの最高性能構成を公開した。Gemma 4 E4Bは単一のNVIDIA A10G上で510.58 tokens/sを達成し、perplexityを2.3930に維持した。複数の推論最適化を組み合わせた成果だが、テスト条件は単一ストリーム、固定ハードウェア、非公開プロンプトセットであり、そのまま本番環境のスループットと同一視することはできない。
AI 基礎設施
Etchedの初期N4P推論チップがラック検証段階に入り、低電圧演算アレイとクラスター規模のメモリによって、それぞれスループットとレイテンシのボトルネックに対処する。同社は、疎なMoEでピークFLOPsの80％超を維持できるとしているが、再現可能なモデル、消費電力、エンドツーエンド性能のデータはまだ公開していない。
代理工具
OSRewardは、Web、Windows、Ubuntu、モバイルプラットフォームにまたがる1,019件の人手でアノテーションされた軌跡を用い、視覚言語モデルがコンピュータエージェントのタスク完了を正しく判定できるかを検証した。チームは推論過程を含む10万件の判定データも公開し、セルフホスト可能な9Bおよび35BのOS-Shepherd報酬モデルを学習した。
最新模型
NVIDIAはCosmos 3 Edgeの重みと推論パイプラインを公開した。4BのMixture-of-Transformersに自己回帰推論と拡散ベースのマルチモーダル生成を組み合わせ、テキスト、画像、動作軌跡を入力できる。DROIDデータでファインチューニングしたロボットポリシー版も提供するが、物理的一貫性とエッジデバイスでのレイテンシーについては、独立した検証がなお必要だ。
推論系統
WIDEは動的プルーニングをトークン単位のAttentionヘッドグループとFFNチャネルグループにまで細分化し、prefillとdecodeの両方をサポートする。研究では、スパース率50%でコア層のデコードが最大4.95倍高速化した一方、エンドツーエンドの高速化は1.55倍に縮小したと報告している。
最新模型
VIDRAFTはPOCKETシリーズの重みを公開し、35Bモデルを最小8.2 GBまで量子化しつつ、各tokenで有効化されるパラメータを約3Bに維持した。モデルはアップストリームのllama.cppをそのまま利用できるが、圧縮手法は公開されておらず、性能と品質を示す根拠も現時点では主に開発チームによるものだ。
最新模型
HuaweiのopenPanguチームは、Ascend NPUで学習した505BのMixture-of-Expertsモデルをリリースした。各tokenで約18Bパラメータをアクティブ化する。階層型疎注意機構と3ヘッドのMulti-Token Predictionを導入しているが、性能値は現時点で主にチームによる自己評価に基づく。
最新模型
ReTokenは、すべての画像tokenを一度にモデルへ入力するのではなく、事前に格納した視覚KV cacheから質問に関連するスパースなブロックを取り出す。バックボーンを凍結し、検索tokenのみを学習する手法は単一のH100で実行できるが、成果は依然として主に2種類の8Bモデルに基づいている。
AI 基礎設施
AWSはHyperPod Inference Operatorを更新し、チームがKubernetes Pod仕様を直接調整し、カスタムTLS証明書を構成し、単一Podの同時リクエスト数を制限できるようにした。これらのインターフェースにより、大規模モデルのサービングに必要な分離とバックプレッシャー制御が補完されるが、アップグレード前には、カスタム設定がOperator管理下のリソースを損なわないことを検証する必要がある。
基準與基礎設施
MLCommonsはEndpoints v0.7をリリースし、推論テストを固定バッチ方式の提出から、自動審査と継続的な更新に対応するエンドポイント・ベンチマーク基盤へと刷新した。今後追加されるマルチターンのエージェント・ワークロードでは、孤立したリクエストのtokens/sだけでなく、個々のユーザーの進捗速度とシステム全体のスループットを同時に評価する。
最新模型
Perception-Correction Distillationは、回答が失敗し、かつ生徒と教師の知覚出力が食い違う場合にのみ、知覚区間の蒸留を強化する。Qwen3-VLを用いた2組のモデル縮小実験では、いずれも一様なon-policy distillationを上回ったが、この手法は教師が実際に生徒より正確に見えていることに依存する。
AI 安全
新たなフレームワークは「モデルが導出値を誤って信頼する」問題を、矛盾受容、文脈による誤誘導、誤りの訂正、効用低下などの指標に分解する。PPGによる心調律判定を事例に、訓練時にECGを利用し、デプロイ時にはPPGのみを必要とする信頼度モデルが4つのエンドポイントを改善した。ただし、データと重みはコードとともに公開されていない。