硬體
mzCache 以 CPU/GPU 並行還原手機 LLM 記憶體,首 token 延遲縮短 2.1 至 5.5 倍
MobiCom 2026 研究把模型權重與 KV cache 切成共享緩衝區,讓 GPU 在 CPU 還原被逐出的資料時先開始 prefill。成果針對手機多工後的恢復延遲,而非提升模型本身的生成速度。
Archive
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
硬體
MobiCom 2026 研究把模型權重與 KV cache 切成共享緩衝區,讓 GPU 在 CPU 還原被逐出的資料時先開始 prefill。成果針對手機多工後的恢復延遲,而非提升模型本身的生成速度。
醫療 AI 與物理導向學習
新研究把 GPU 鉛筆束計算、兩個凍結神經先驗與 136 萬參數 3D U-Net 串成 CT/MRI 共用流程。內部資料的 1%/1 mm gamma 通過率最高達 99.12%,但尚未構成跨醫院或臨床用途驗證。
推論系統
`@huggingface/kernels` 可從 Hub 動態載入附帶介面、測試與 WGSL 實作的 GPU 算子。官方在 Apple M4 的算子級測試中報告幾何平均快 2.57 倍,但結果不包含模型載入、編譯與資料傳輸成本。
推論系統
Unsloth 為 Qwen3.8-Flash-Next、GLM-5.3-Flash 預設開啟多 token 預測,並改善 MLX、多 GPU 與 ROCm 路徑。官方最高兩倍的說法未附完整測試矩陣,Qwen 技術文件所列低併發增益則為 1.3 至 1.7 倍。
AI 安全
CrowdStrike 與 NVIDIA 發表 SafeMind,以攻擊代理產生遙測,再由 Nemotron 防禦代理撰寫、檢查及重播偵測規則。封閉測試顯示專用模型優於通用前沿模型,但模型權重、資料集與完整評測協定尚未公開。
最新模型
Atlas 把文字、影像、相機姿態與深度資料放進同一自回歸擴散架構,可生成受控鏡頭並輸出點雲或 3D Gaussian splat。廠商評測顯示稀疏視角重建優於專用模型,但尚無論文、權重或物理模擬驗證,現階段僅限早期存取。
推論系統
LMDeploy 0.17.0 為 TurboMind 加入 DeepEPv2 專家平行後端,並讓 KV connector 接上 Mooncake Store。新版亦支援 Kimi K2.6、非二次冪頁面與結構化回應,但未提供跨硬體的端到端效能數據。
代理工具
OpenAI 為個別 MCP 工具加入輸出 token 上限,並允許 app-server 的 shell 指令執行超過一小時。新版也修補壓縮歷史後遺失使用者指令與授權的問題,但內建規劃工具改為預設停用。
AI 安全
F5 為 Distributed Cloud WAF 加入異常偵測與代理式威脅情報,並把弱點掃描結果接到執行期阻擋流程。新功能能縮短曝險窗口,但偵測率、誤報率與延遲仍只有供應商測試數據。
AI 基礎設施
HUMAIN 已在沙烏地阿拉伯提供以 AMD MI355X、EPYC 和 Cisco Silicon One 網路建置的生產級 GPU 服務。這使合作案跨過「規劃容量」門檻,但 250 MW 與 1 GW 仍分別是 2027 年起及 2030 年前的目標。
AI 基礎設施
EuroHPC 與 Bull 簽署 3.878 億歐元合約,將在芬蘭部署以 AMD MI430X、六代 EPYC 為核心的 LUMI-AI。系統預計 2027 年上線,但十倍 AI 容量仍是規劃值,節點數、互連與儲存配置尚未完整公布。
推論系統
NVIDIA Triton Inference Server 2.72.0 修正排程器可能在仍有請求時停止派工的問題,並恢復 `preserve_ordering` 的完成順序語義。新版同時更新 CUDA、TensorRT 與 gRPC 相依套件,但 TensorRT-LLM 映像缺席,vLLM/Ray 部署亦保留安全警告。