Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
GoogleはGemini 3.7 FlashをAPI、Antigravity、Android Studio、企業向けエージェントプラットフォームへ展開し、期間限定の半額料金で高トラフィックなエージェントワークロードへの浸透を図る。初期の統合ではマルチモーダル、ツール呼び出し、複数のAPI形式が利用可能になっている一方、推論パラメータとコストデータには依然として移行上の落とし穴がある。
生成式 AI 工具
ComfyUI 0.33.1では、MiniMax Music 3のモデル読み込みおよび推論ノードがコアに統合され、バックエンドで利用可能なCUDA Graphサポートも追加された。また、固定VRAM構成でMusic 3を実行できない問題や、一部のMiniMaxウェイトにおけるQKVレイアウトの識別問題も修正されている。
推論系統
vTokenは既存のPagedAttentionに論理トークンテーブルと非同期コンパクションを追加し、トークン単位の退避によって物理ブロックを実際に解放できるようにする。vLLMプロトタイプではSLA制約下のスループットが最大1.37倍に向上したが、コードはまだ公開されておらず、移動コストがあらゆるハードウェアとトラフィックに適することも実証されていない。
最新模型
新たな研究は「unmasking growth complexity」を用いて、離散拡散における情報の難しさが開示段階ごとにどう変化するかを記述し、計算を曲率の高い区間に集中させる。スケジュールはサンプルから推定でき、高確率の KL 証明書も提供するが、大規模な言語モデルや画像モデルではまだ検証されていない。
最新模型
DreamX-Phiは、2本のロボットアームの剛体変換をattentionに直接組み込み、深度、物体マスク、V-JEPA特徴量によって生成動画を制約する。WorldArena 2.0のスナップショットでは60.65点を獲得したが、モデル重みと推論コードはチャレンジ終了後まで公開されず、実機への汎化性能もまだ検証されていない。
GitHub Repo
オープンソースのMARC v1は、抽出・推論・出力を担うエージェントをYAMLで定義し、Gemini APIまたはOllamaによるローカルデプロイをサポートする。エラーの特定とデータ管理を改善する一方、示されているのは3種類のユースケースのみで、マルチエージェント方式が単一プロンプトより高精度であることは証明されていない。
最新模型
新たな研究により、Sparse Autoencoder（SAE）のアブレーション評価では通常、各辞書がそれぞれ最大活性化トークンを選ぶため、同じように見える latent が実際には異なる位置で評価されていることが分かった。共通の位置に固定すると、対照実験で辞書の違いに起因するとされていた7.6%と11.9%の変動は、ほぼ消失した。
最新模型
研究チームはFineWeb‑Eduから880億tokenのK–5コーパスを抽出し、0.6B、1.3B、5Bモデルと、計算量を揃えた対照モデルをゼロから学習させた。実験の結果、モデルの大規模化、SFT＋GRPO、コンテキスト内の例示は主に既存の能力を引き出すものであり、事前学習知識の境界を明確に越えることはなかった。
AI 安全
Synthetic Persona Pretrainingは、「価値憲章」に基づいて生成した一人称の内省を事前学習文書の約10%に組み込み、さらに後学習によってそのペルソナをアシスタントのidentityに結び付ける。新たに公開された完全な実験結果、weights、データは、早期介入が主として価値観の汎化を改善する一方、一般的なjailbreakへの耐性には必ずしもゼロからの介入が必要ではないことを示している。
推論系統
Reduced Matrix Multiplicationは重みを変更せず、現在のactivationの列ノルムに基づき、行列乗算でスコアが最も高い共有次元のみを計算する。A100でのテストでは、シーケンスが長くなるほど効果が増した一方、短いコンテキストでは選択処理とkernel起動のコストが計算削減分をほぼ相殺した。
AI 基礎設施
OpScaleはモデル全体を複製するのではなく、トラフィックとシーケンス長に応じて、その時点でボトルネックとなっているattentionやMLPなどの演算子だけをスケールアウトする。著者らはA100およびGB200クラスタ上で92万9,000件のリクエストをリプレイし、同じレイテンシ目標を最大36.3％少ないGPUで達成した。ただし、プロトタイプのコードはまだ公開されていない。
最新模型
TsuGOは、検証可能な囲碁の詰碁問題600問を用い、答えやtoken数だけでなく、モデルが推論リソースを正しい分岐に投入できているかを測定する。4択の候補を取り除くと、複数の推論モデルで正答率と探索効率が同時に急落し、ニューラルネットワークで探索を誘導するKataGoとの差も依然として大きかった。