Archive

GitHub Repo

GitHub 熱門專案、開源工具、框架、runtime 與重要 release。

vLLM 社群回報 LoRA 逐層縮放遭忽略，微調成果部署後可能衰減

vLLM 0.30.0 被回報未套用 PEFT 的逐層 rank 與 alpha 設定，可能在無警告下改變適配器效果。社群已提供重現程式與權重轉換對照，正式修補及影響範圍仍待確認。

Ai2 開源 Olmo-core 3，重構 MoE 訓練的專家配置與資料路由

新版讓專家常駐 GPU，以資料路由減少反覆聚合權重的成本，官方初步測試回報約 2.7 倍吞吐量。兆參數配置已完成系統測試，但採用隨機路由，實際訓練品質與穩定性仍待驗證。

Cloudflare 開源 Clef 決策模型，以單次前向運算輸出選項機率

Clef 與 Clef-flash 將代理分類與路由轉為對指定選項直接評分，並以 Apache 2.0 公開權重。官方測試顯示延遲優勢，但任務準確率與機率校準仍須依部署資料驗證。

Open WebUI 公開工具匯出漏洞，唯讀分享可能洩露原始碼

具工具匯出權限的非管理員，可能下載僅獲讀取授權工具的 Python 原始碼。官方已於 0.11.4 修補，部署者須核對群組權限及程式碼內是否存放憑證。

Vercel Perplexity 套件 5.0.0 改接 Agent API，搜尋與串流整合須遷移

新版將語言生成移至 Agent API，調整模型設定、串流事件及用量資料格式。既有 PDF 輸入與圖片、影片結果不再受支援，Sonar 停用時程則仍有官方資料不一致的情況。

PyTorch 預編譯提案封裝運算核心，補強重播階段的零編譯檢查

作者回報，整組變更讓推薦模型的 16 個分散式程序完成重播，未觸發編譯。提案仍為草稿，跨模型驗證與部署效益尚待確認。

vLLM 社群回報多機解碼延遲，空 KV 連接器也可能觸發效能下降

雙節點 H100 測試中，加入不搬移資料的 KV 連接器，特定負載的每 token 延遲增加約 87%。調查指向回覆聚合與執行緒等待，成因及修補仍待上游確認。

vLLM 社群回報重啟後輸出分歧，核心自動調校可能影響重現性

固定種子與零溫度的 Qwen3-8B 測試，仍因核心配置不同而出現輸出差異。相關 PyTorch 修補尚未合併，影響範圍須依版本、硬體與編譯路徑確認。

Dify 社群回報 OpenAPI 參數繼承缺陷，自訂工具可能送出錯誤路徑

路徑層級的共用參數可能在匯入時遺失，Swagger 格式還可能直接遭拒。原始碼與規格可交叉核對成因，但修補發布與完整影響範圍仍待確認。

PyTorch 社群回報 ROCm 編譯數值異常，特定機率計算可能失真

MI355X 上的重現案例顯示，編譯後的特定運算可能把應為零的機率算成一。回報者提供暫時解法，但影響範圍與正式修補仍待確認。

vLLM 社群測試：WSL2 啟用鎖頁記憶體，單卡解碼延遲降低約 12%

一組單機測試顯示，調整記憶體設定可減少解碼時的 GPU 等待。官方仍維持預設關閉，收益與容量限制須依部署環境驗證。

vLLM 社群追查 H20 MoE 調度低效，提出按專家負載選擇核心的修補

社群測試指出，FlashInfer 的負載估算可能讓 H20 選到低效運算核心，調整後特定 MoE 算子加速約 3.21 倍。修補尚未合併，整體服務效益與部分正確性測試仍待驗證。