推論系統
vToken、KVキャッシュをトークン単位で仮想化し、メモリ制約下の最大同時実行数を2倍に
vTokenは既存のPagedAttentionに論理トークンテーブルと非同期コンパクションを追加し、トークン単位の退避によって物理ブロックを実際に解放できるようにする。vLLMプロトタイプではSLA制約下のスループットが最大1.37倍に向上したが、コードはまだ公開されておらず、移動コストがあらゆるハードウェアとトラフィックに適することも実証されていない。
Archive
GitHub Repo
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
推論系統
最新模型
UGC、データ依存関係に基づいてマスク拡散のステップ数を配分し、理論上は oracle に近い KL 保証を実現
新たな研究は「unmasking growth complexity」を用いて、離散拡散における情報の難しさが開示段階ごとにどう変化するかを記述し、計算を曲率の高い区間に集中させる。スケジュールはサンプルから推定でき、高確率の KL 証明書も提供するが、大規模な言語モデルや画像モデルではまだ検証されていない。
代理工具
同一モデルの2エージェント、失敗タスクの90％で共倒れ——独立性の仮定が冗長化の信頼性を過大評価
Agent Behavioral Contracts IIは、事前登録された18,000回のタスクを通じ、同一モデルを使う2つのエージェントの失敗には強い相関があることを明らかにした。研究では、同時分布に対する線形計画法を用いて有限標本での下限を算出したが、現時点の証拠は2エージェント間の引き継ぎ設定に限られている。
最新模型
DreamX-Phi、SE(3)軌道制約による双腕動画予測でWorldArena 2.0暫定首位
DreamX-Phiは、2本のロボットアームの剛体変換をattentionに直接組み込み、深度、物体マスク、V-JEPA特徴量によって生成動画を制約する。WorldArena 2.0のスナップショットでは60.65点を獲得したが、モデル重みと推論コードはチャレンジ終了後まで公開されず、実機への汎化性能もまだ検証されていない。
GitHub Repo
MARCは臨床推論を追跡可能なエージェント・パイプラインに分解するが、初版では精度比較を未実施
オープンソースのMARC v1は、抽出・推論・出力を担うエージェントをYAMLで定義し、Gemini APIまたはOllamaによるローカルデプロイをサポートする。エラーの特定とデータ管理を改善する一方、示されているのは3種類のユースケースのみで、マルチエージェント方式が単一プロンプトより高精度であることは証明されていない。
最新模型
SAEが各自で最大活性化トークンを選ぶことで生じる辞書間の因果的変動、11.9%からほぼゼロに
新たな研究により、Sparse Autoencoder（SAE）のアブレーション評価では通常、各辞書がそれぞれ最大活性化トークンを選ぶため、同じように見える latent が実際には異なる位置で評価されていることが分かった。共通の位置に固定すると、対照実験で辞書の違いに起因するとされていた7.6%と11.9%の変動は、ほぼ消失した。
代理工具
VALG、型付き証明グラフで定理の書き換えを追跡――COLTの未解決9サブ課題で当初のスコープを維持できたのは2件のみ
VALGは機械学習理論の研究を、問題の形式化、証明依存グラフ、局所的な導出、多角的なレビューに分解し、失敗の階層に応じて修正するか、緩和した別ブランチを作成するかを決定する。COLT 2026の未解決9サブ課題に対して22件の内部確定候補を生成したが、元の問題設定に沿う結果が得られたのは2回の実行だけだった。
最新模型
LittleLearner、事前学習知識を小学5年生レベルに制限—高度な数学への少数ショットプロンプティングでも約6%にとどまる
研究チームはFineWeb‑Eduから880億tokenのK–5コーパスを抽出し、0.6B、1.3B、5Bモデルと、計算量を揃えた対照モデルをゼロから学習させた。実験の結果、モデルの大規模化、SFT＋GRPO、コンテキスト内の例示は主に既存の能力を引き出すものであり、事前学習知識の境界を明確に越えることはなかった。
AI 安全
SPP、最初のtokenから価値観の内省を埋め込み、3BモデルのOODリスク差を19ポイントに拡大
Synthetic Persona Pretrainingは、「価値憲章」に基づいて生成した一人称の内省を事前学習文書の約10%に組み込み、さらに後学習によってそのペルソナをアシスタントのidentityに結び付ける。新たに公開された完全な実験結果、weights、データは、早期介入が主として価値観の汎化を改善する一方、一般的なjailbreakへの耐性には必ずしもゼロからの介入が必要ではないことを示している。
最新模型
PlayWorld、マルチモーダルエージェントで9つの世界モデルを実際に操作――長期的一貫性の最高スコアは依然2.12／5
PlayWorldは、観測した画面に基づいてエージェントが制御命令を動的に修正し、世界モデルごとに移動量が異なるため固定軌跡の比較可能性が損なわれる問題を回避する。171のシーンを用いた評価では、既存モデルは滑らかな映像を生成できる一方、グローバルな空間構造や視野外で継続的に変化する状態の保持には依然として苦戦していることが示された。
AI 基礎設施
OpScale、LLMのスケーリング単位を演算子レベルに分解、Qwen2サービスのGPU使用量を平均35～50％削減
OpScaleはモデル全体を複製するのではなく、トラフィックとシーケンス長に応じて、その時点でボトルネックとなっているattentionやMLPなどの演算子だけをスケールアウトする。著者らはA100およびGB200クラスタ上で92万9,000件のリクエストをリプレイし、同じレイテンシ目標を最大36.3％少ないGPUで達成した。ただし、プロトタイプのコードはまだ公開されていない。
最新模型
TsuGO、推論テキストを探索木に復元 Gemini 3.1 Proのオープン形式・難問の正答率はわずか19%
TsuGOは、検証可能な囲碁の詰碁問題600問を用い、答えやtoken数だけでなく、モデルが推論リソースを正しい分岐に投入できているかを測定する。4択の候補を取り除くと、複数の推論モデルで正答率と探索効率が同時に急落し、ニューラルネットワークで探索を誘導するKataGoとの差も依然として大きかった。