所有文章 · SURL AI News

Etched 公開機架級推論架構，以低電壓運算與叢集共享記憶體挑戰 GPU

Etched 的首批 N4P 推論晶片已進入機架驗證，系統以低電壓運算陣列和叢集級記憶體分別處理吞吐量與延遲瓶頸。公司宣稱稀疏 MoE 可維持逾 80% 峰值 FLOPs，但尚未公布可重現的模型、功耗與端到端效能資料。

OSReward 以 1,019 條跨 Web、Windows、Ubuntu 與行動平台的人工標註軌跡，測試視覺語言模型能否正確判斷電腦代理是否完成任務。團隊同時公開 10 萬筆推理式判決資料，並訓練可自架的 9B、35B OS-Shepherd 獎勵模型。

NVIDIA 開放 Cosmos 3 Edge 權重與推論流程，以 4B Mixture-of-Transformers 結合自回歸推理及擴散式多模態生成。模型可接收文字、影像與動作軌跡，並另提供以 DROID 資料調整的機器人策略版本，但物理一致性與邊緣裝置延遲仍需獨立驗證。

WIDE 將動態剪枝細化到 token 級的注意力頭群組與 FFN 通道群組，並同時支援 prefill 與 decode。研究在 50% 稀疏度下報告最高 4.95 倍核心層解碼加速，但端到端收益縮至 1.55 倍。

VIDRAFT 公開 POCKET 系列權重，把 35B 模型量化至最低 8.2 GB，並保留約 3B 的每 token 啟用參數。模型可直接使用上游 llama.cpp，但壓縮方法未公開，效能與品質證據目前也主要來自開發團隊。

華為 openPangu 團隊釋出以昇騰 NPU 訓練的 505B 混合專家模型，每個 token 約啟用 18B 參數。模型加入分層稀疏注意力與三頭多 token 預測，但效能數字目前主要來自團隊自評。

ReToken 不把所有影像 token 一次送入模型，而是從預先填入的視覺 KV cache 中取回與問題相關的稀疏區塊。其凍結骨幹、只訓練檢索 token 的做法可在單張 H100 上完成，但成果仍主要來自兩款 8B 模型。

AWS 更新 HyperPod Inference Operator，讓團隊能直接調整 Kubernetes Pod 規格、配置自訂 TLS 憑證，並限制單一 Pod 的並行請求。這些介面補上大型模型服務的隔離與背壓控制，但升級前仍須驗證自訂設定不會破壞 Operator 管理的資源。

MLCommons 發布 Endpoints v0.7，把推論測試從固定批次提交改造成可自動審核、持續更新的端點基準基礎設施。即將納入的多輪代理負載會同時衡量單一使用者進度與整體吞吐量，而非只計算孤立請求的 tokens/s。

Perception-Correction Distillation 只有在答案失敗且學生與教師的感知輸出分歧時，才加強感知區段的蒸餾。Qwen3-VL 的兩組縮模實驗均優於均勻式 on-policy distillation，但方法依賴教師確實看得比學生準。

新框架把「模型誤信衍生數值」拆成衝突接受、情境誤導、錯誤修復與效用損害等指標。以 PPG 心律判讀為案例，訓練時借用 ECG、部署時只需 PPG 的可靠度模型改善四項端點，但資料與權重未隨程式碼公開。

DualG-MRAG 以巨觀圖尋找跨文件推理路徑，再用微觀圖核對局部影像與文字證據，避免細粒度節點使知識圖快速膨脹。研究在 MMQA 將 R@5 從最佳圖式基線的 42.1% 提高至 61.9%，但尚未公開程式碼與索引建置成本。