最新模型
Marin、535B-A23Bのオープントレーニングを開始、11基のGB200 NVL72を公開追跡可能
Marinは、総パラメータ数535B、各tokenで約23Bを有効化するMoEモデルのトレーニングを開始した。11基のGB200 NVL72を使用し、約18T～18.75T tokenを処理する計画だ。設定、スケーリング実験、リアルタイムテレメトリは公開されているが、モデル品質、長コンテキスト対応策、最終的なtoken予算はまだ確定していない。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
推論系統
SGLang 0.5.18、重みのロードとCUDA Graphをオーバーラップし、Qwen3-32Bのコールドスタートを35.6秒に短縮
新バージョンでは起動時にcheckpoint stagingとCUDA Graph captureを並行処理し、公式のH100テストで通常のデフォルトフローに比べ2.38倍高速化した。テンソル並列通信の一部も刷新し、7つのモデルファミリーを追加した一方、Torchのアップグレードとキャッシュパスの統合に伴う移行コストが発生する。
代理工具
ASR Benchmark Fitting、3種類のプローブで「答えの暗記」を定量化。一部モデルは誤った参照トランスクリプトを18～30%の確率で再現
Hume AIとHugging Faceは、音声が公開テストセットの正解と矛盾する場合でも、一部の高スコア音声モデルが参照トランスクリプトの内容を出力することを発見した。Open ASR Leaderboardには「Benchmark Fitting」タブが追加されたが、こうした挙動は、モデルがテストデータを直接見たことの証明にはならない。
推論系統
Yutori、ブラウザエージェントの推論アーキテクチャを公開：100Kの長い入力と短いツール出力、プレフィックスキャッシュでステップ当たりのコストを削減
YutoriのNavigatorは、ブラウザタスクごとに視覚言語モデルを数十回連続で呼び出し、履歴コンテキストは最大約100K tokenまで増加する。Together AIはvLLMのプレフィックスキャッシュとレイテンシ目標別のルーティングでこの負荷を処理するが、2倍の速度と4～5分の1の低コストという数値は、依然としてベンダーが公表した比較結果である。
代理工具
Hermes Agent 0.20.5、5プロバイダーによるAPIキー不要の検索に対応、スケジュールタスクごとに推論強度を設定可能に
Nous Researchは、APIキー不要のウェブ検索、スケジュールタスクのメモリ、実行停止への保護機能をHermes Agent 0.20.5に導入した。パッチ版と位置付けられているものの、約323件のPRがマージされており、完全な移行ガイドは0.21.0を待つ必要がある。
推論系統
Diffusers 0.40、Modular Pipelineを安定版APIへ移行する一方でJAX／Flaxを削除
Hugging Faceは、MiniMax H3、MiniMax Music 3、Wan-Animate-2をコンポーザブルなブロックとして直接組み込めるようにし、従来型のDiffusionPipelineラッパーを提供しない方針を採った。新バージョンでは、限定的なtensor parallel、低ビット量子化バックエンド、セキュリティ修正も追加されたが、Flaxの削除とLoRA出力の変更を伴う。
推薦系統
NVIDIA、生成レコメンデーションスタックのKVとbeam searchを刷新、5Kコンテキスト推論を2.27倍高速化
NVIDIAは、HSTU、動的embedding、Semantic IDによる生成レコメンデーションを、実行可能なPyTorchリファレンススタックとしてまとめた。「長い履歴、数tokenのみの生成、非常に大きなbeam width」というレコメンデーション特有の負荷に合わせ、キャッシュとデコード経路を刷新している。ただし、現時点のデータはNVIDIA製ハードウェアと合成構成に限られる。
推論系統
LFM2.5にDSparkドラフトモデルを追加、H100のデコードスループットが最大3.18倍に
Liquid AIは、3種類のLFM2.5モデル向けに約3億パラメータのDSparkドラフトチェックポイントを公開し、llama.cppとSGLangに統合した。公式テストでは、モデル、データ分布、ハードウェアによって高速化の度合いが大きく変動しており、ピーク値をすべてのワークロードで得られる効果とみなすことはできない。
代理工具
AI4AI-Bench、エージェントに10種類の学習アルゴリズムの書き換えを要求――最高システムの平均スコアはわずか0.250
AI4AI-Benchは、ハイパーパラメータ調整と学習手法そのものの変更を分けて評価し、コーディングエージェントにゼロから再実行可能な学習コードの提出を求める。6システムによる290回のテストでは、4割超が元のアルゴリズムを下回った。推論強度を高めても、主にエージェントが中核的な学習メカニズムへ手を加えやすくなるだけだった。
AI 基礎設施
NVIDIA DSX MaxLPS、ラック電力を動的に配分し、GB200のワット当たり推論性能を1.5倍に向上
DSX MaxLPSはリアルタイムテレメトリーに基づいて未使用電力を再配分する。NVIDIAの測定では、GB200 NVL72ラックの割り当て電力を、スループットを維持したまま125 kWから90 kWに削減できた。このソリューションはワークロード別の電力設定と45°C液冷も組み合わせるが、中核となるDynamic Power Softwareは依然としてDeveloper Previewの段階にある。
推論系統
FormalTCS、175問のLean課題で研究プロセスを評価——自動形式化の最高スコアはわずか11.5点
FormalTCSは、過去2年間のトップ理論計算機科学論文から研究レベルの問題を抽出し、自然言語による主張から機械検証可能な証明を生成するまでのモデル能力を段階別に測定した。既に形式化された定理の証明では、最高性能のモデルがPass@8で28.6を記録した一方、自然言語を正しいLeanの定理文へ変換する工程が依然として最大のボトルネックとなっている。
推論系統
Daedalus-150M、注意層の3分の2を畳み込みに置き換え、2KコンテキストでCPUデコードを1.76倍高速化
Daedalus-150Mは、シングルユーザー環境での4-bit CPU推論に特化して設計されており、大半のネットワーク層で、増え続けるKV cacheを繰り返し読み込む必要がない。初期結果では、コンテキストが長くなるほど速度面の優位性が拡大する一方、モデルの上限は2Kにとどまり、性能値についても異なるハードウェア上での独立した再現検証が必要だ。