推論系統
FlashDrive 聯合快取、推測解碼與 W4A8，將 10B 自駕 VLA 延遲壓至 151 毫秒
FlashDrive 同時處理視覺編碼、LLM prefill、推理 token 與軌跡去噪四個瓶頸，在 RTX PRO 6000 上把 Alpamayo 1.5‑10B 單窗口延遲由 717 降至 151 毫秒。開源實作接近即時推論，但仍經過專門微調，閉環測試規模亦只有 100 段模擬片段。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
AI 基礎設施與訓練系統
LazyTrain 用混合整數排程重疊記憶體搬移，單張 H800 訓練 27B 模型快 1.24 倍
LazyTrain 在訓練前聯合決定 activation 保存、卸載及重算位置，把 PCIe 與 NVMe 傳輸塞入 GPU 計算窗口。Qwen3.6‑27B 實驗由 176.90 提高至 219.95 TFLOPS，但目前只驗證單卡與離線排程。
最新模型
長上下文訓練出現倒 U 曲線：窗口超過任務長度約 16 至 32 倍後能力轉弱
新研究指出，較長訓練窗口可能令模型依賴上下文，而非把知識寫入參數。750M 以下預訓練及 Qwen3 微調實驗均顯示，支持性資料增加的同時，無上下文與衝突情境的穩健性下降。
代理工具
LLM 代理把 HPC 工作送上異質叢集，描述性硬體資料令成功率由 48% 升至 87%
LLNL 團隊讓代理探索 Flux、Slurm、Kubernetes 等資源，再把高階意圖轉成可驗證的工作規格。六個雲端叢集實驗顯示架構、網路與記憶體 metadata 主要能排除不能執行的機器，並非穩定的效能最佳化器。
最新模型
LFM2.5‑VL‑3B 以約 3GB 記憶體執行視覺模型，原生支援 vLLM、llama.cpp 與 MLX
Liquid AI 發布 3.1B 參數的 LFM2.5‑VL‑3B，加入畫面定位、版面 OCR、多圖理解與函式呼叫能力。官方在 Apple M5 Max 測得 228 token/s，單張 H100 高併發吞吐約 11,000 token/s，但數據尚待獨立重現。
代理工具
EvoMem 將跨任務優化經驗寫成持久記憶，演化搜尋平均加速 5.93 倍
EvoMem 從成功的程式突變中抽取具來源紀錄的策略卡，再於後續任務檢索最多三張卡引導 LLM。九類測試的平均目標指標提高 6.40%，但結果變異大，且實驗仍限於小型研究型工作負載。
最新模型
XCoT-VLA 用 2 至 6 個動作 token 壓縮自駕推理，H100 介面延遲最低 38.6 毫秒
小鵬提出 XCoT-VLA，以有限的語意動作 token 取代數十個自然語言推理 token，再透過 flow matching 生成連續軌跡。開迴路測試顯示橫向誤差下降，但尚無封閉迴路安全評估，延遲數字亦未涵蓋完整車載軟硬體堆疊。
最新模型
TIDE 修正教師—學生錯配，Qwen3 推理 Avg@8 由 6.9% 升至 20.3%
TIDE 不再把高 token 一致率直接視為蒸餾成功，而是分別處理學生過度生成及漏掉教師偏好 token 的問題。強錯配設定下，方法同時把平均回答長度縮短 3.6 倍，但重現完整訓練仍需八張 GPU，且作者未提供 checkpoint。
硬體
ArchAgent v2 以代理演化三層預取器，DPC4 模擬效能略勝人工冠軍
ArchAgent v2 將 L1D、L2 與 LLC 預取器分階段演化，再以即時容量檢查淘汰超出硬體預算的候選。最終設計在 DPC4 模擬環境比人工冠軍 BertiGO 高 0.3%，但尚未經實體晶片驗證。
開發者平台
OpenAI 關閉 `gpt-5.2-chat-latest`，遷移不能只替換模型名稱
OpenAI 於 8 月 10 日停止 API 的 `gpt-5.2-chat-latest`，官方建議改用 GPT‑5.5。這次退場針對會追隨 ChatGPT 行為的別名，工程團隊仍須重新驗證提示、工具呼叫與輸出格式，不能把遷移視為等價路由切換。
PTQ4SNN 同時量化權重與膜電位，事件分類僅損失 1 個百分點
PTQ4SNN 把脈衝神經網路長期保留的浮點膜電位納入後訓練量化，按通道配置 2、4 或 8 位元。論文在分類與語意分割上接近浮點模型，但硬體收益仍來自分析模型，且專用程式尚未公開。
最新模型
Meta 開放 Muse Glimmer 30B：17GB 量化版搭 DFlash 在 RTX 5090 達 233 token/s
Muse Glimmer 將多模態輸入、工具呼叫與失敗重試放進可在消費級硬體部署的 30B 密集模型。Apache 2.0 權重與官方 GGUF 已上線，但性能與安全數字目前仍主要來自 Meta 自評。