推論系統
AMD 公開 Kimi-K3 三引擎測試,重現須核對負載與映像版本
新文章整理八張 MI350X 上的推論測試流程,數據採集於七月。指定提交的 README 與文章負載不同,各引擎設定差異也限制效能比較。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
推論系統
新文章整理八張 MI350X 上的推論測試流程,數據採集於七月。指定提交的 README 與文章負載不同,各引擎設定差異也限制效能比較。
GitHub Repo
主分支新增憑證作用域的目錄歸屬,修正缺值與初始化失敗時的部分隔離問題。審查留言仍提出其他回退路徑疑點,部署者須核對實際版本。
AI 安全
漏洞涉及預填充/解碼分離節點的 RPyC 服務,攻擊者須能連上控制埠。公開重現顯示利用後健康檢查仍可正常,公告尚未列出已修補版本。
GitHub Repo
新路徑將可攜模型層與硬體專用最佳化隔離,首批元件已接入 Transformers 後端。H100 初測顯示吞吐量接近原有路徑,但層覆蓋與跨平台效能仍須核對。
GitHub Repo
新版讓代理透過系統訊息調整工具集合,並依內容補入測試版標頭。快取效益仍依設定與訊息位置而定,未知系統區塊的處理方式也有變更。
AI 研究
新基準以 53 項 SGLang 任務評測程式代理,發現部分通過其他檢查的修補仍無法正常提供模型服務。結果限於特定測試環境,通過基準也不代表程式已可上線。
最新模型
模型提供 DROID 與 SO-101 權重及微調流程,RoboLab 公開榜單列出約 42.9% 成功率。控制迴圈仍須由應用程式處理,規劃涵蓋時間不能當成推論延遲。
AI 研究
研究限制修改規模,並以評測波動與推論成本篩選代理框架的變更。公開實作提供重驗入口,但節省 token 的幅度取決於比較基準。
代理工具
Strands harness 將工具、記憶與上下文管理組成可直接部署的代理,並提供 Python 與 TypeScript 介面。官方公布成本比較,但實際效益仍取決於任務、模型及快取條件。
最新模型
Nemotron 3 Diarization 以一億參數處理串流與錄音,沿用說話者快取維持跨片段標籤。延遲數字僅計音訊緩衝,實際部署仍須量測辨識、傳輸與後處理成本。
GitHub Repo
新版重新建立連線用戶端,修正開啟嚴格模式後仍沿用舊端點的問題。自訂 API 網址不會自動改寫,升級後須核對 schema 與連線設定。
GitHub Repo
專案沿用 Intel 驅動編譯計算圖,再替換 SHAVE 核心,讓自訂 C 程式接入 NPU。新測試涵蓋兩種精度的獨立分支,尚未支援任意混合精度管線。