代理工具
SkillGate、スキル選択と実行のフィードバックを分離し、9Bエージェントの成功率を40.8%から53.2%へ向上
SkillGateは、長いワークフローを実行するエージェントを結果報酬で訓練すると、スキル選択に使われる少数のtokenには有効な信用割当がほとんど届かないことを明らかにした。新手法は、同一のGRPO更新内で2つの勾配経路を分離し、5つのエージェント評価で結果報酬ベースラインを上回った。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
推論系統
RecirculationでTransformerの深層状態を再注入、Gemma 3のパープレキシティを最大35%低減
Google DeepMindは、推論時に深層のresidual streamを後続tokenの浅層へ混合し、既存のGemma 3にtoken間再帰を導入する手法を提案した。モデルの重みは増えないが、並列prefillが逐次処理に変わるため、実際のレイテンシについては包括的な測定を待つ必要がある。
硬體
ETHEREAL、時空間イベントキャッシュでVGAイベントビジョンを処理、イベント当たりの推論実測値は25.6マイクロ秒
28nm ETHEREALチップは、不規則なイベントグラフアクセスと規則的なspline convolutionを分離して処理し、レイヤーごとの4／8ビット精度にも対応する。DAGr-GNNの実測値はイベント当たり25.6マイクロ秒、1.6マイクロジュールだが、検出ヘッドの最後の3層は依然としてチップ外で評価されている。
最新模型
OYS、拡散モデルのノイズ除去タイムステップを直接探索し、5ステップで50ステップ時の品質の89〜94%を維持
OYSはモデルの変更や蒸留を行わず、ベイズ最適化によってモデルとタスクごとに少ステップのノイズ除去スケジュールを探索する。研究では6種類のtext-to-imageモデルと画像修復タスクで改善が報告されたが、探索コストを多数の事前生成サンプルによって償却する必要がある。
推論系統
Qwen3.8-27B 在 RTX 4090 上可達 70 tok/s，主流部署仍依賴量化與 MTP 調校
Qwen3.8-27B 讓 27B 級模型進入單張 24GB 消費級 GPU 的可用範圍。公開資料顯示，一般 GGUF 部署約落在 30 至 60 tok/s；在 RTX 4090 上啟用 KV cache 量化、MTP 與新版 llama.cpp 後，社群實測可提升至 70 至 85 tok/s，但這仍不是開箱即得的基準。
推論系統
IOL-AI、未公開の言語学オリンピック問題で推論能力を評価：14Bモデルがデコード手順によりベースラインスコアを2倍超に向上
IOL-AI Challengeでは、少数の例から未知の言語の規則を導き出し、翻訳、転写、訂正を行うことがシステムに求められる。T4 GPU 1基という制約下で、最高提出は同一モデルのベースラインGMを9.40から19.79へ引き上げたが、金メダル水準に達したクローズドモデルとの差は依然として大きい。
推論系統
TensorRT Model Connect パブリックプレビュー：Hugging FaceモデルをONNX経由なしでネイティブC++推論向けにパッケージ化
NVIDIAはTensorRT Model Connectをオープンソース化した。2つのコマンドで、サポート対象のHugging Faceモデルまたはローカルcheckpointを、C++アプリケーションに引き渡せるバージョン管理されたbundleとしてビルドできる。モデル移植の工程を短縮する一方、現時点ではreference implementationという位置付けであり、対応範囲と性能はモデル、精度、ハードウェアごとに検証する必要がある。
推論系統
MoNe、長文コンテキストをテスト時ニューラルメモリに書き込み、128K推論の総FLOPsを81%削減
Qualcomm AI Researchは、凍結したTransformerの各層に高速重みを追加し、コンテキストを512-token単位で取り込む手法を開発した。クエリ時に原文を再読み込みする必要はない。Qwen2.5-0.5Bを用いた128Kの実験では、メモリ使用量を一定に保ちながらICLとRAGを上回ったが、現時点でのエビデンスは3つの合成検索タスクに限られる。
最新模型
TokEval、18の内在的指標でtokenizerを選別——情報量指標は言語モデリング性能と最大0.80の相関
TokEvalは、数値の桁位置、プログラムのAST境界、UTF-8の完全性、言語間コストをtokenizer評価に導入した。対照実験では、一部の指標が特定の下流能力を予測できることが示されたが、現時点の結果は単一の1.27Bアーキテクチャに限られる。
硬體
rl-triton、7種類の強化学習リターン計算をGPU scanに統合し、関数呼び出し全体で最大5.70倍高速化
オープンソースライブラリのrl-tritonは、GAE、V-Trace、Retraceなどの信用割り当てにおける再帰計算を、Tritonによるassociative scanへと書き換え、系列依存の深さをO(T)からO(log T)へ削減した。4,096環境、128ステップのテストでは、すでにベクトル化されたtorch.compileベースラインより1.6～5.70倍高速だった一方、大規模ポリシーにおけるend-to-endのPPO高速化は約1.02倍にとどまった。
推論系統
TileMix、アテンション行列内でFP16／INT8を混在させ、A100の4K prefillスループットでFlashAttentionの2.22倍を達成
TileMixはtoken間の接続を削除せず、単一の融合kernel内でアテンションスコアのtileごとにFP16またはINT8 Tensor Coreの経路を選択する。LLaMA 3.2 3Bの4Kテストでは31.80K token/sを達成したが、現時点での結果はA100、静的ルーティング、prefill段階に限定される。
推論系統
FluxBin、二値基底と LUT CUDA kernel により、単一 A100 で最大 5.92 倍の推論高速化を報告
FluxBin は超低ビット重みを FP16 に再展開せず、二値パターンを使って事前計算済みの部分和を直接参照する。論文では単一 A100 で最大 5.92 倍の高速化と 10.19 倍のエネルギー効率改善を報告しているが、現時点では公開コードへのリンクにアクセスできない。