代理工具
NemoClaw 0.0.113、ローカル推論の検証を強化し、サンドボックス再構築後のMCP認証情報の再発行に対応
NVIDIAはオープンソースのエージェント実行スタックを更新し、vLLM、llama.cpp、Ollama、モデルルーターにおける状態ドリフトへの対処を重点化した。新版ではサンドボックスのライフサイクル、イメージの出所証明、障害復旧も厳格化されたが、依然として急速なイテレーションの途上にあるパッチリリースだ。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
Task-CoEvolve、検証タスクを20%だけ抽出し、harness探索のtokenコストを67～80%削減
Task-CoEvolveは、候補harness間の過去の差異に基づいて検証タスクを動的に選択し、抽出確率を用いて全体スコアを推定する。Terminal-Bench 2.1では全量探索に近い性能を示したが、論文では探索と評価に同一のタスク群を使用しており、コードもまだ実際には公開されていない。
推論系統
KeysAndValues、固定32K KV cacheで4Bモデルを128Kコンテキスト向けに微調整
新手法により、モデルは微調整時にH2OなどのKV eviction戦略へ直接適応できる。128Kタスクの一部では、約20%〜64%だった精度が90%超に向上した。ただし、自然言語質問応答で常に優位なわけではなく、オープンソース実装も依然として研究用ツールと位置付けられている。
推論系統
ReCache、ツールschemaを再利用可能なKVブロックに分割し、割り当てメモリを92.43%削減
ReCacheは注意機構と位置エンコーディングを改変し、リクエスト間で個々のツールやスキルのKV cacheを再利用できるようにする。Qwen3の実験ではTime to First Token（TTFT）が最大3.655倍高速化したが、モデルのfine-tuningが必要であり、そのまま適用できる推論プラグインではない。
推論系統
FlashPrefill V2がブロック疎注意機構をSGLangに統合、128KプリフィルのTTFTを最大4.8倍短縮
Tencent WeChatと中国科学院のチームがHopper向け疎注意機構カーネルを書き直し、FP8、paged KV cache、continuous batching、枝刈りされたブロックの平均値補償を追加した。H20でのテストでは演算子単体で最大47.26倍の高速化を達成したが、エンドツーエンドの効果はそれより小さく、現時点での統合はプロジェクトに同梱されたSGLangブランチに依存している。
AI 可解釋性研究
Forking Fast、変化点検出で推論の分岐を再構成——解析用token予算を8分の1に削減可能
新手法は推論結果の分布を区分的に滑らかな系列として捉え、PELTで真の意思決定点を特定したうえで、Dirichletカーネルプーリングによりサンプリングノイズを抑制する。2つの8Bモデルを用いた実験では再サンプリングを大幅に削減できることが示されたが、現時点で結論が適用されるのはtinyMMLUの選択式問題に限られる。
代理工具
NVIDIA AVO、ARC-AGI-3公開セット全183レベルをクリア、アクション数はVISTA比で約12%減
NVIDIAは、もともとGPUカーネルの進化的探索に用いていたAVOエージェントアーキテクチャを対話型推論へ移植し、Claude Opus 5との組み合わせで100.00 RHAEを達成した。この結果は、エージェントのメモリと検証ループによって同じモデルの性能が大きく変わり得ることを示している。ただし、対象は公開環境に限られており、VISTAとの比較も統制されたアブレーションではない。
推論系統
Pandora Router、モデル評価コストをルーティングに組み込み、EmbedLLMの総合損失を0.386に低減
Google DeepMindは、高コストなモデル評価を実行するかどうかを「Pandora’s box」探索問題として定式化し、情報価値に基づいて追加評価の要否を逐次判断する。3種類のテストすべてで、平均ルーティング後悔と評価コストの合計が最小となったが、その効果は適切にキャリブレーションされたシグナル分布とコスト設定に依存する。
代理工具
Mojoがコンパイラとツールチェーンのソースコードを公開、単一のBazelコマンドでソースからビルド可能に
ModularはMojo 1.0のリリースから1週間後、KGENコンパイラ、ツール、標準ライブラリをApache 2.0 with LLVM Exceptionsで公開した。ソースコードは閲覧および独自ビルドが可能になったが、コンパイラへの外部コントリビューションは現時点で受け付けておらず、MAXも引き続き別ライセンスで提供される。
硬體
Waymo、5nm車載ASICを公開：フロントエンドのセンサー演算性能は1,000 TOPS超
Waymoがロボタクシーのヘテロジニアス・コンピューティング・アーキテクチャを初めて明らかにした。自社開発ASICがカメラ、LiDAR、レーダーのデータをリアルタイムで処理し、コア推論エンジンへ渡す。1,000 TOPSについては数値精度と消費電力が示されておらず、NVIDIAやTeslaの車載プラットフォームとは直接比較できない。
最新模型
3段階セルフルーティングにより、1.5B推論モデルがMATH-500で出力tokenを41%削減
新たな研究では、NoThink、Short、Longをモデルが生成する最初のtokenとし、別途ルーターを設けることなく、問題ごとに推論予算を割り当てる。MATH-500ではベースモデルに近い精度を維持しつつ、より簡単なGSM8Kではtokenを76%削減した。
推論系統
Axon、強い型付けのDSLから5種類のLLMバックエンドを生成、MLXの中央値レイテンシをTransformersの48.3％に低減
Axonは、モデルアーキテクチャをシンボリックなテンソル形状を持つ関数型仕様として記述し、PyTorch、Triton、JAX、MLX、ネイティブvLLM向けにコンパイルする。467件の推論テストでは多くの生成モデルが高速化した一方、一部のBF16モデル、エンコーダーモデル、シーケンス・ツー・シーケンスモデルでは、精度または性能の低下も確認された。