推論系統
DriveCache 按預定車輛軌跡分配去噪快取,Wan2.2 A14B 以 1.97 倍速度維持較高保真度
DriveCache 利用生成前已知的車輛平移與旋轉,為不同駕駛場景安排擴散模型的特徵重用。Wan2.2 A14B 在接近相同加速幅度下,PSNR 較 SeaCache 高 1.276 dB,但程式碼尚未公開。
Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
DriveCache 利用生成前已知的車輛平移與旋轉,為不同駕駛場景安排擴散模型的特徵重用。Wan2.2 A14B 在接近相同加速幅度下,PSNR 較 SeaCache 高 1.276 dB,但程式碼尚未公開。
AI 安全
新研究以加性 log-odds 模型量度改寫、錯字、動物名稱及 JSON 欄位的微弱偏向,再把同方向線索組合成提示。部分最佳化提示可跨模型轉移,但目前實驗集中於人工設計的二元選擇題。
代理工具
UCL 研究把代理、檔案、訊息及讀寫事件建成時間網路,分析 1,902 次受控程式任務。結果顯示協作拓撲主要由任務結構決定,僅在提示中指定協調者並未形成實際樞紐。
AI 安全
新研究發現,多款 guard model 與 activation probe 刪除、打亂或替換規則後,判斷準確率幾乎不變。專為排除文字捷徑而建的交叉測試中,快速偵測器接近隨機,只有逐步推理模型明顯恢復規則與情境的組合能力。
推論系統
ParaTempo 定期探測各條推理路徑的暫定答案分布,據此獨立執行裁切、提前退休及分叉。Qwen3.5-35B-A3B 的四項評測平均準確率較固定 16 路 self-consistency 低 1.1 個百分點,但延遲與生成 token 分別減少 21.8% 及 30.3%。
推論系統
新版在 Linux HIP 建置中停止以系統 `MemAvailable` 覆寫 GPU 記憶體資訊,改為信任 `hipMemGetInfo`。修正針對可調 UMA carveout 的 AMD APU,可降低模型載入器高估容量後才失敗的風險。
訓練基礎設施
Rollplex 把參考模型與訓練 actor 的影片編碼、prompt prefill,提前至自回歸解碼期間執行,同時維持同步 on-policy 語義。系統以 CUDA VMM 管理跨階段記憶體,並讓不同張量平行度的訓練與推論程序共用相容權重。
CForce 沿用擴散語言模型自己的生成軌跡,把後期較完整的預測蒸餾回早期遮罩狀態。LLaDA2.1-mini 在提高平行解碼量的同時維持準確度,但證據目前集中於同一模型家族與作者控制的評測。
推論系統
新版依量化區塊大小配置執行緒與工作群組,避免 SYCL copy kernel 過度或不足訂閱。Arc 70 微基準吞吐由 20.21 升至 158.19 GB/s,但這不是完整模型的 token 生成加速比。
最新模型
Intern-S2-Mobius 把傳統 Transformer 各層綁定的知識儲存與注意力推理拆開,讓多個 Reasoner 反覆查詢同一組全域 Memory。開放權重可由 LMDeploy、vLLM 或 Transformers 載入,但近 4 倍加速仍是官方特定評測結果。
最新模型
Qwen 開放 Qwen3.8-27B 權重,以 64 層 Gated DeltaNet/Gated Attention 混合架構壓低長上下文成本,並提供原生視覺理解與可調推理深度。官方代理評測升幅顯著,但部分資料集、修正版題目及執行框架由 Qwen 自行設定,不能直接視為跨供應商的公平排名。
推論系統
FreeBalance 用上一層殘差狀態預測下一層專家負載,讓權重交換與注意力計算重疊。方法不改變最終路由與模型輸出,但目前證據只涵蓋兩款 MoE 模型、單一八卡拓撲及 prefill 工作負載。