SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

最新模型

TTPO、多数決で正負の軌跡を振り分け、正解のないテスト問題でモデルをリアルタイム更新

TTPO は多数決の回答をそのまま正解とは見なさず、コンセンサスと一致する軌跡を蒸留し、さらに grouped RL によって高い確信度を伴う不一致の誤りを罰する。著者らの報告では、Qwen3-1.7B の3つの数学コンテストにおける Avg@12 は 38.0 から 45.2 に向上した。ただし、これはテスト問題を直接使用してパラメータを更新するトランスダクティブな設定である。
推論系統

Prefix Sliding、プロンプトのプレフィックスと直近の推論を保持し、超長時間思考のKVメモリを定額化

Prefix Slidingは生成中に中間部分の推論tokenを破棄し、システムプロンプト、タスクのプレフィックス、直近数千tokenのみを保持するため、再学習なしで適用できる。研究では、長時間推論の総思考時間を約3分の1に短縮できると報告されているが、現行実装はフォーク版のvLLMとFlashAttentionに依存しており、出力が短いタスクや初期の詳細を振り返る必要があるタスクでは効果が限定的だ。
推論系統

FreeToken、CPU／GPU間でエキスパート計算を動的に分割し、284B MoEを単一のRTX 5090で推論

FreeTokenは、固定ルールによるMoEエキスパートのオフロードをやめ、実測したメモリ帯域幅とPCIe帯域幅に基づいて、CPUでの実行とGPUキャッシュへの配置を動的に分担する。開発者らは、RTX 5090で284Bモデルを毎秒22～25 tokenで実行できると報告しているが、テストは依然として開発チーム自身によるもので、完全な重みの保持には大量のメインメモリが必要だ。
推論系統

2段階の表圧縮：まず64個の視覚tokenで表を特定し、次に元の解像度で推論

エディンバラ大学の研究により、低解像度の表は数値の直接読み取りには適さないものの、VLMが関連性を判断するには十分であることが示された。学習不要の2段階フローは、長文書テストでdecoder tokenを41%削減し、すべての表を元の解像度で1回だけ推論する方式より精度が7.1ポイント高かった。
推論系統

TensorRT Model Connect、モデルの checkpoint をネイティブ C++ bundle にコンパイル――ただしインターフェースは未確定

NVIDIA は TensorRT Model Connect を公開した。Python ビルドツールを使い、対応する Hugging Face checkpoint を C++ から読み込める TensorRT bundle にパッケージ化する。プロジェクトではモデルファミリー84種とエンドツーエンド manifest 221件を掲げているが、依然として nightly 開発モードであり、サポート一覧への掲載は、すべてのハードウェアで検証済みであることを意味しない。
最新模型

GLM-5.3が744B MoEの重みを公開、100万トークンのデプロイには依然としてデータセンター級リソースが必要

Z.aiはAPI公開から2週間後にGLM-5.3の重みをリリースした。モデルはGLM-5.2の基本アーキテクチャを踏襲し、能力向上の大部分はエージェント型コーディングとサイバーセキュリティのポストトレーニングによるものだ。FP8ファイルは依然として約756GBに達し、カスタムライセンスやベンダー主導の評価もあるため、実際の採用前には性能、安全性、法的側面を別途検証する必要がある。
最新模型

Thomson-1.0-Small、200Bトークンの継続学習で専門能力を強化するも、重みのライセンスが本番利用を制限

Thomson ReutersはQwen3.6-35B-A3Bをベースに、総パラメータ数35B、推論時の有効パラメータ数3BのThomson-1.0-Smallを公開した。法律、税務、リサーチエージェントの評価では性能が向上したが、結果の大半は開発チーム自身による測定であり、PolyForm Strictも一般的なオープンソースライセンスではない。
機器人與具身 AI

Isaac 0.5、動画理解とロボット制御を統合するも、将来知覚の中核的な訓練目標は依然非公開

Perceptron AIは、360億パラメータのIsaac 0.5の重みとLeRobot統合を公開し、同一のスパースなバックボーンから言語、空間座標、連続または離散アクションを出力できるようにした。一般動画によって遠隔操作データの必要量を大幅に削減できると公式は主張するが、これはオフラインのaction lossに基づく換算であり、中核となる自己教師あり学習目標は依然としてプロプライエタリ技術である。
最新模型

Qwen3.8-Flash-Next、ブロックスパース注意機構とn-gramパラメータ拡張でQwen4の新アーキテクチャを先行検証

AlibabaはQwen3.8-Flash-Nextの重みを公開した。Qwen Sparse Attention、Gated Residual、510億個のn-gram embeddingパラメータにより、長いコンテキストの計算コストを削減する。モデルは26万2,144 tokenをネイティブにサポートするが、性能値は主に公式評価に基づいており、ライセンスも一般的なApache 2.0ではない。
最新模型

進化戦略によるポストトレーニングはより多くの推論経路を保持、Pass@32でGRPOを平均的に上回る

新たな研究では、パラメータ摂動とフォワード評価のみを用いて推論モデルを訓練し、進化戦略がGRPOのエントロピー崩壊と大規模サンプリング時のカバレッジ低下を緩和できることを示した。結果は1.5Bから7Bまでのモデルを対象としているが、訓練規模、タスク範囲、再現性には依然として制約がある。
AI 基礎設施

ROCm 10、エージェント型カーネル最適化を正式提供へ――一方でABI破壊と既知の不具合も

AMDはROCm 10をリリースし、Hyperloom、AMD Skills、統合CLIを組み込んだROCm.AIの一般提供を開始した。同社は同一ハードウェアで推論性能が平均3.3倍、トレーニング性能が平均2.4倍向上するとしているが、この数値は最適化プロセス全体による効果であり、ランタイムをアップグレードするだけで得られる性能向上とはみなせない。