硬體
Needle 2、4,500万パラメータのツールモデルを14MBに圧縮し、スキーマ文法でオンデバイス呼び出しを制約
Cactus Computeはこのほど、Needle 2のPython API、クロスプラットフォーム実行、Apache 2.0ライセンスを整備し、モデルカードも継続的に更新している。ピークメモリ28MBでツール選択と構造化抽出を実行するが、速度と精度に関する情報は依然として主に公式テストに基づいている。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
硬體
推薦系統
NVIDIA、生成レコメンデーションスタックのKVとbeam searchを刷新、5Kコンテキスト推論を2.27倍高速化
NVIDIAは、HSTU、動的embedding、Semantic IDによる生成レコメンデーションを、実行可能なPyTorchリファレンススタックとしてまとめた。「長い履歴、数tokenのみの生成、非常に大きなbeam width」というレコメンデーション特有の負荷に合わせ、キャッシュとデコード経路を刷新している。ただし、現時点のデータはNVIDIA製ハードウェアと合成構成に限られる。
推論系統
LFM2.5にDSparkドラフトモデルを追加、H100のデコードスループットが最大3.18倍に
Liquid AIは、3種類のLFM2.5モデル向けに約3億パラメータのDSparkドラフトチェックポイントを公開し、llama.cppとSGLangに統合した。公式テストでは、モデル、データ分布、ハードウェアによって高速化の度合いが大きく変動しており、ピーク値をすべてのワークロードで得られる効果とみなすことはできない。
AI 基礎設施
NVIDIA DSX MaxLPS、ラック電力を動的に配分し、GB200のワット当たり推論性能を1.5倍に向上
DSX MaxLPSはリアルタイムテレメトリーに基づいて未使用電力を再配分する。NVIDIAの測定では、GB200 NVL72ラックの割り当て電力を、スループットを維持したまま125 kWから90 kWに削減できた。このソリューションはワークロード別の電力設定と45°C液冷も組み合わせるが、中核となるDynamic Power Softwareは依然としてDeveloper Previewの段階にある。
推論系統
Daedalus-150M、注意層の3分の2を畳み込みに置き換え、2KコンテキストでCPUデコードを1.76倍高速化
Daedalus-150Mは、シングルユーザー環境での4-bit CPU推論に特化して設計されており、大半のネットワーク層で、増え続けるKV cacheを繰り返し読み込む必要がない。初期結果では、コンテキストが長くなるほど速度面の優位性が拡大する一方、モデルの上限は2Kにとどまり、性能値についても異なるハードウェア上での独立した再現検証が必要だ。
代理工具
NemoClaw 0.0.113、ローカル推論の検証を強化し、サンドボックス再構築後のMCP認証情報の再発行に対応
NVIDIAはオープンソースのエージェント実行スタックを更新し、vLLM、llama.cpp、Ollama、モデルルーターにおける状態ドリフトへの対処を重点化した。新版ではサンドボックスのライフサイクル、イメージの出所証明、障害復旧も厳格化されたが、依然として急速なイテレーションの途上にあるパッチリリースだ。
代理工具
NVIDIA、CUDA MCPとセルフホスト型Nsight Blueprintを発表—4モデル構成のバックエンドを社内ネットワーク内で運用可能に
Nsight AIは、リアルタイムのCUDAドキュメントをCodexやClaudeなどのMCPクライアントに接続できるようになったほか、完全なコーディング支援バックエンドをローカル環境にデプロイできるようになった。オープンソースのBlueprintは、生成、補完、埋め込み、リランキングの各モデルを組み合わせるが、リファレンス構成にはHopper世代のGPUと少なくとも200GBのストレージが必要となる。
代理工具
NVIDIA AVO、ARC-AGI-3公開セット全183レベルをクリア、アクション数はVISTA比で約12%減
NVIDIAは、もともとGPUカーネルの進化的探索に用いていたAVOエージェントアーキテクチャを対話型推論へ移植し、Claude Opus 5との組み合わせで100.00 RHAEを達成した。この結果は、エージェントのメモリと検証ループによって同じモデルの性能が大きく変わり得ることを示している。ただし、対象は公開環境に限られており、VISTAとの比較も統制されたアブレーションではない。
硬體
Waymo、5nm車載ASICを公開：フロントエンドのセンサー演算性能は1,000 TOPS超
Waymoがロボタクシーのヘテロジニアス・コンピューティング・アーキテクチャを初めて明らかにした。自社開発ASICがカメラ、LiDAR、レーダーのデータをリアルタイムで処理し、コア推論エンジンへ渡す。1,000 TOPSについては数値精度と消費電力が示されておらず、NVIDIAやTeslaの車載プラットフォームとは直接比較できない。
硬體
VSPG、バックプロパゲーションなしで離散行動actorを更新し、SustainGymの2評価でDNNベースラインを上回る
VSPGは各行動を単位ハイパーベクトルとして格納し、softmax policy gradientを、アドバンテージで重み付けしたベクトルの重ね合わせと正規化に変換するため、actorの自動微分やオプティマイザ状態を必要としない。2種類の気候条件における建物制御でより高いリターンを達成し、ビットエラーにも高い耐性を示したが、性能は固定エンコーダに大きく依存する。
AI 基礎設施
Cerebras CS-4、3基のWSE-3Tでラックシステムを構成し、ピーク帯域幅を129.6 PB/sに拡大
CS-4は新しいプロセスへ移行したものではなく、WSE-3のクロック周波数、電力供給、I/Oを強化し、3基のウェハスケールプロセッサーでNexusラックを構成する。推論速度はGPUベースのソリューションと比べて最大30倍と公式にうたうが、PFLOPSやワット当たりスループットについては、比較可能な独立したエンドツーエンドテストが依然として不足している。
推論系統
MoEルーターでキャッシュミスを60%削減するも、パープレキシティ劣化1%の基準を満たせず
事前登録研究で、専門家の局所性をMoEルーターに直接学習させる試みが行われたが、キャッシュ性能の改善とモデル品質の間に明確なトレードオフがあることが判明した。学習済みルーティングと学習不要の再ルーティングを組み合わせることで、ミス率をさらに低減できるものの、それが同程度のエンドツーエンド高速化につながることはまだ実証されていない。