所有文章 · SURL AI News

SPP 從首個 token 植入價值反思，3B 模型的 OOD 風險差距擴至 19 點

Synthetic Persona Pretraining 把依據「價值憲章」生成的第一人稱反思寫入約 10% 預訓練文件，再以後訓練把該人格綁定至助理身份。新公開的完整實驗、權重與資料顯示，提早介入主要改善價值泛化，抵抗一般 jailbreak 則未必需要從零開始。

Reduced Matrix Multiplication 不改權重，而是按當前 activation 的欄範數，只計算矩陣乘法中分數最高的共享維度。A100 測試顯示收益隨序列增長，但短上下文的選擇與 kernel 啟動成本幾乎抵消節省。

PlayWorld 用可觀察畫面的代理動態修正控制指令，避免不同世界模型的移動幅度令固定軌跡失去可比性。171 個場景顯示，現有模型雖能生成流暢畫面，卻仍難以保存全域空間與視野外持續演變的狀態。

OpScale 不再複製整個模型，而是按流量與序列長度，只擴充當下成為瓶頸的 attention、MLP 等算子。作者在 A100 與 GB200 叢集重播 92.9 萬個請求，最高以少 36.3% GPU 達到相同延遲目標，但原型程式尚未公開。

TsuGO 用 600 道可驗證圍棋死活題，量度模型是否把推理資源投向正確分支，而不只計算答案與 token 數。移除四選一候選後，多款推理模型的準確率與搜尋效率同步急跌，與神經網路引導的 KataGo 仍有明顯距離。

一項 Qwen3-8B 蒸餾實驗發現，完整深度共同訓練時兩種正規化位置幾乎沒有差別，但逐階段加入 Transformer block 後，Post-Norm 明顯勝出。結果顯示正規化位置不能脫離模型成長策略單獨選擇。

LongEarth-Bench 將 117,000 張遙測影像整理成約 120,000 組長序列問答，要求模型追蹤地貌演變、異常與缺失狀態。以 Qwen2.5-VL-7B 為底的 LongEarth-R1 加入幀編號、結構化推理及時空獎勵，但資料、權重與程式尚未公開。

V-RAE 不再只為像素重建訓練影片 VAE，而是在 DINOv3、SigLIP2 或 V-JEPA 2.1 等語意特徵上加入時間壓縮與解碼器。作者測得新 latent 可同時改善生成與未來畫面預測，但目前只展示低解析度、短片段及類別條件生成。

丹麥 Foundation Models 團隊從零訓練 Mimir v1，利用 HRM 的高、低層循環，在作者測試的 20 項基準上逼近部分 4B 模型。權重已公開，但「可允許資料」不等於完全開放資料，部分語料只依協議或歐盟研究例外使用。

一項重測發現，改寫探針的情境包裝，就能把模型規模相關係數由 +0.94 移至 −0.82。研究建議至少跨九至十組提示詞量度，否則單一 activation direction 不足以比較模型。

DARTree 把擴散草稿模型的因果校正由單一路徑延伸至多分支，並把逐節點 heap 搜尋改成按深度批次展開。單張 RTX 6000 Ada 測試中，七項任務的平均加速均勝過 DFlash、DDTree 與 Domino，但程式尚未公開。

新技術報告把科學 PDF、時間序列、工具操作及長時代理任務納入同一訓練管線，並公開 Apache 2.0 權重。獨立的 Memory Decoder 可在凍結 397B 主幹下加入領域能力，但目前只以生物學模組示範。