GitHub Repo
vLLM 社群測試:WSL2 啟用鎖頁記憶體,單卡解碼延遲降低約 12%
一組單機測試顯示,調整記憶體設定可減少解碼時的 GPU 等待。官方仍維持預設關閉,收益與容量限制須依部署環境驗證。
Archive
新模型、開放權重、多模態、語音、影像與模型架構。
GitHub Repo
一組單機測試顯示,調整記憶體設定可減少解碼時的 GPU 等待。官方仍維持預設關閉,收益與容量限制須依部署環境驗證。
GitHub Repo
新版保留雲端 OAuth 狀態,搭配 SDK 修正權杖更新端點與回寫流程。完整效果仍取決於後端部署,既有連線須驗證跨對話續用。
GitHub Repo
系統以實測 GPU 核心時間預測服務瓶頸,再由代理把候選優化落實到推論框架。團隊已公開程式碼與測試案例,但收益受模型和負載限制,部分修補仍待上游審查。
AI 研究
研究讓代理讀取整份逐字稿,再重轉錄可疑片段,修正跨段不一致的專有名詞。官方已公開實作,但最大增益限於特定模型組合,部署仍須衡量誤改率與推論成本。
推論系統
約 2.8 億參數的草稿模型替 LFM2.5-VL-3B 加入推測解碼,已提供公開權重與框架整合。官方測試限特定硬體與設定,視覺編碼、預填充及併發負載仍會限制整體收益。
AI 研究
研究在 28 類模擬環境測試可重用的控制程式,有傳統規劃器可比較的子集最高達 95% 平均成功率。結果仍限完整可觀測狀態,重現須核對黑箱權限、評測種子與前期合成成本。
最新模型
新版結合版面解析與視覺語言模型,支援跨頁表格及表單欄位抽取。官方評測更換了部分測試範圍,API 模型版本對應也須在部署前核對。
AI 研究
基準要求代理自行安裝、除錯與執行實驗,再由獨立模型查核執行證據。公開程式碼與紀錄讓開發者能追查失敗環節,但結果仍受模型範圍與單次測試限制。
GitHub Repo
新版透過系統訊息傳遞工具變更,讓代理分階段調整可用能力,並有機會保留既有提示快取。功能仍受模型、訊息位置與快取設定限制,尚無效能測試數據。
AI 研究
研究保留成功任務的原始軌跡,等下一項任務到來才生成適用摘要。增益來自特定基準與模型配置,整理模型的額外成本仍須納入部署評估。
GitHub Repo
新版以背景執行緒預先載入下一批圖片,減少 GPU 等待資料的時間。公開測速涵蓋特定 YOLO26n 配置,發布摘要與合併歷程的適用範圍仍有落差。
GitHub Repo
新版集中管理 E2B 沙箱的建立、重連與代理憑證輪替。功能預設關閉,須搭配外部代理,DNS 與 QUIC 流量也不在此 TCP 通道範圍內。