所有文章 · SURL AI News

vToken 將 KV 快取虛擬化至 token 層級，受限記憶體下併發量最高翻倍

vToken 在既有 PagedAttention 上加入邏輯 token 表與非同步壓縮，讓逐 token 淘汰真正釋放實體區塊。vLLM 原型的 SLA 吞吐最高提高 1.37 倍，但尚未公開程式，也未證明搬移成本適用所有硬體與流量。

新研究用「解遮罩成長複雜度」描述離散擴散在不同揭露階段的資訊難度，據此把計算集中到高曲率區段。方法可由樣本估計排程並給出高機率 KL 證書，但尚未在大型語言或影像模型上驗證。

DreamX-Phi 將兩支機械臂的剛體變換直接寫入注意力，並以深度、物件遮罩及 V-JEPA 特徵約束生成影片。它在 WorldArena 2.0 快照取得60.65分，但權重與推論程式要等挑戰賽結束才公開，真實機器泛化仍未驗證。

開源 MARC v1 用 YAML 定義抽取、推理與輸出代理，並支援 Gemini API 或 Ollama 本機部署。它改善錯誤定位與資料控制，卻只展示三類使用案例，未證明多代理比單一提示更準確。

一項新研究發現，稀疏自編碼器的消融評估通常讓每套字典自行選擇最高啟用 token，導致看似相同的 latent 實際在不同位置受測。固定共同位置後，受控實驗中原本歸因於字典差異的 7.6%與11.9%變異幾乎消失。

研究團隊從 FineWeb‑Edu 篩出 880 億 token 的 K–5 語料，並從零訓練 0.6B、1.3B 與 5B 模型及同算力對照組。實驗顯示擴大模型、SFT＋GRPO 和上下文示例主要喚起已有能力，未明顯突破預訓練知識邊界。

Synthetic Persona Pretraining 把依據「價值憲章」生成的第一人稱反思寫入約 10% 預訓練文件，再以後訓練把該人格綁定至助理身份。新公開的完整實驗、權重與資料顯示，提早介入主要改善價值泛化，抵抗一般 jailbreak 則未必需要從零開始。

Reduced Matrix Multiplication 不改權重，而是按當前 activation 的欄範數，只計算矩陣乘法中分數最高的共享維度。A100 測試顯示收益隨序列增長，但短上下文的選擇與 kernel 啟動成本幾乎抵消節省。

OpScale 不再複製整個模型，而是按流量與序列長度，只擴充當下成為瓶頸的 attention、MLP 等算子。作者在 A100 與 GB200 叢集重播 92.9 萬個請求，最高以少 36.3% GPU 達到相同延遲目標，但原型程式尚未公開。

TsuGO 用 600 道可驗證圍棋死活題，量度模型是否把推理資源投向正確分支，而不只計算答案與 token 數。移除四選一候選後，多款推理模型的準確率與搜尋效率同步急跌，與神經網路引導的 KataGo 仍有明顯距離。

LongEarth-Bench 將 117,000 張遙測影像整理成約 120,000 組長序列問答，要求模型追蹤地貌演變、異常與缺失狀態。以 Qwen2.5-VL-7B 為底的 LongEarth-R1 加入幀編號、結構化推理及時空獎勵，但資料、權重與程式尚未公開。

DARTree 把擴散草稿模型的因果校正由單一路徑延伸至多分支，並把逐節點 heap 搜尋改成按深度批次展開。單張 RTX 6000 Ada 測試中，七項任務的平均加速均勝過 DFlash、DDTree 與 Domino，但程式尚未公開。