所有文章 · SURL AI News

NVIDIA Dynamo 拆分多模態推論三階段，混合流量首 token 延遲最多降低 42.2%

Dynamo 現可將視覺編碼、LLM 預填充與解碼分配給獨立工作程序及不同等級 GPU，避免影像請求阻塞純文字流量。官方測試雖顯示首 token 與端到端延遲最高改善 5 倍、7 倍，但長輸出或大型稠密模型可能抵銷拆分收益。

新研究把「回合已就緒」與「送入推論引擎」拆開，以 CVaR 尾部風險及動態工作量預算決定提交順序。SWE‑bench 軌跡重播中最高得到 3.5 倍 P95 加速，但結果只涵蓋固定代理軌跡、單一到達亂數種子與 A100／vLLM 環境。

新基準固定檢索內容，以四種條件測量 RAG 如何改變五款開放模型回答有害問題的行為。含答案的文件讓所有模型更容易產生正確但危險的內容，而安全裁判之間也只有中度一致性。

Show-Harness 讓通用 VLM 輸出方向、夾取與釋放等符號，再由各機器人的直譯器轉成受限運動。Gemini 零樣本與微調後的 Qwen 2B 在十項實機任務分別達 89% 與 86%，但測試仍集中於桌面取放。

PELM 不只調整處理器頻率，還動態選擇推測解碼設定與驗證深度，在熱限制下共同控制硬體和模型工作量。論文報告最高 23.1% 加速及 52.4% 節能，但峰值結果不能直接外推到手機或其他模型。

Google 與 NASA JPL 讓視覺 Transformer 直接結合 EMIT 的光譜及空間脈絡，同時估算濃度、羽流邊界與排放源位置。公開模型找回約八成專家標註案例，但更高敏感度也帶來地表混淆與假陽性風險。

YuE2 把旋律與和弦的符號規劃、語意 token 和 flow-matching 音訊合成放進同一套生成流程。權重可在 24GB GPU 執行，但非商用授權及最佳八選一評測，使其與商用系統的比較仍須保守解讀。

Pizza Bot 將代理狀態、核准要求與排程結果保存於伺服器，使用者離開對話後工作仍可繼續。它支援多家模型、MCP 與 Agent Skills，但本機優先不代表工具安全，遠端部署與外掛仍須自行建立信任邊界。

NASA‑IBM Lunar Foundation Model 以近 200 萬組對齊的月球資料，跨越每像素 1 公尺至 100 公尺的尺度差距。模型、資料與微調程式均已公開，但冰層輸出仍是間接推測，不能用於著陸或探勘決策。

Dify 新版加入資料集層級 API 金鑰、明確資料庫 session，並縮短代理事件保留時間以控制 Redis 成長。既有內建 Weaviate 部署不能直接更新映像，否則物件仍可讀取時，向量召回可能已永久受損。

54M 參數的 METEOR 從八路相機建立 BEV，單次前向輸出 12 類駕駛任務，INT8 版本在 Jetson AGX Orin 約需 67 至 70 毫秒。程式、ONNX、權重與示範資料已公開，但部署版實際停用時間記憶，且尚無公開自動駕駛基準可供橫向比較。

Gander 把串流影音對話、插話控制與非同步代理執行接到同一時間軸，前端模型可在後端代理工作時繼續與使用者互動。首版公開 Apache 2.0 程式與權重，但完整資料集尚未釋出，官方部署設定也需要三張 GPU。