AI 基礎設施
NVIDIA ModelExpress 以 GPU 對 GPU 傳送權重,將 806 GiB 模型擴容時間壓至兩分鐘內
NVIDIA 公開 ModelExpress 的完整傳輸路徑,讓新推論副本優先透過 P2P RDMA 從既有 GPU 複製權重與編譯快取。官方在 8 張 B200 上把 DeepSeek-V4-Pro 的 API 就緒時間由 8 分鐘縮至 1 分 44 秒,但結果高度依賴同型 GPU、高速網路與相容的張量配置。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
AI 基礎設施
NVIDIA 公開 ModelExpress 的完整傳輸路徑,讓新推論副本優先透過 P2P RDMA 從既有 GPU 複製權重與編譯快取。官方在 8 張 B200 上把 DeepSeek-V4-Pro 的 API 就緒時間由 8 分鐘縮至 1 分 44 秒,但結果高度依賴同型 GPU、高速網路與相容的張量配置。
代理工具
Hugging Face 為 TRL 補上 OpenEnv 原生整合,將多輪環境以統一工廠介面交給 GRPOTrainer,而非把每次工具呼叫視為獨立函式。環境可在 WebSocket 服務或容器內執行,但專案仍處實驗階段,隔離強度與獎勵可信度須由使用者自行驗證。
AI 基礎設施/分散式運算
Google 公布 Ray 在 TPU 上的完整 AI 程式庫路徑,以 topology 欄位確保模型工作者落在同一 ICI slice。新版並加入 JAX 原生資料批次、JaxTrainer、官方容器與 TPU 監控,但目前主要驗證環境仍是 GKE。
代理工具
Microsoft Research 等研究者提出 OpenForgeRL,讓 Codex、OpenClaw 與 GUI 代理可在原生執行框架內接受端到端強化學習。系統以模型呼叫代理伺服器和 Kubernetes 隔離 rollout,但程式、資料與權重仍待完整公開。
最新模型
KAIST 團隊提出免訓練的 ReMo,在輸入端移除可由音訊解釋的畫面 token,並以文字代理保留物件語義。作者自測在 Qwen Omni 系列壓縮逾半輸入且未降低平均分數,但程式與獨立重現結果尚未公開。
最新模型
新研究以 TensorRT 與 TensorRT-LLM 重構 IndexTTS-2 的 GPT、擴散 Transformer 和聲碼器,並加入串流及批次推論。中英文 Seed-TTS 實驗顯示 GPT 最高加速 5 倍,但目前公開材料仍不足以直接重現整套最佳化管線。
代理工具
NVIDIA 更新 NemoClaw 的 DGX Station 與 DGX Spark 安裝流程,避免既有 vLLM 工作負載被意外中止,並改善大型模型下載的憑證與限流處理。版本仍屬 alpha,新增支援的 DGX OS 組合也尚未完成端到端資格驗證。
開發者平台
DeepSeek 已於 7 月 24 日停用 `deepseek-chat` 與 `deepseek-reasoner` 兩個相容名稱,未遷移的 API 請求可能直接失敗。新介面把模型選擇與推理模式拆開,也使升級不再只是替換模型字串。
GitHub Repo
Andrew Ng 團隊公開 MIT 授權的 OpenWorker,將代理迴圈、憑證與對話保留在使用者電腦,並支援雲端或 Ollama 本機模型。它能產生檔案及操作 Slack、行事曆與終端,但「本機優先」不代表資料必然不離開裝置。
最新模型
Google 將 Gemini 3.6 Flash 與 3.5 Flash-Lite 推向穩定 API,分別瞄準複雜代理主模型與高吞吐子代理。官方數據顯示兩者在 token 用量、程式任務和電腦操作上進步,但比較多由 Google 或合作評測方產生,仍需以真實工作流驗證。
最新模型
Multiverse Computing 公布經壓縮與修復訓練的 Llama 3.3 70B,可透過 vLLM CPU 和 Intel AMX 在 Xeon 6 上服務。官方測試顯示吞吐接近倍增,但每秒不到 4 個輸出 token,且檢查點與原始結果未公開。
AI 安全
ResponseGuard 將多模態回覆審查改寫為二元分類,不生成思考鏈,能在串流期間逐句判斷。作者自測顯示回覆偵測優於 3B 推理式基線,但模型權重、訓練程式與資料切分尚未實際上線。