GitHub Repo

GitHub 熱門專案、開源工具、框架、runtime 與重要 release。

GitHub Repo

vLLMコミュニティ、H20のMoEスケジューリングの非効率を調査 専門家負荷に応じたカーネル選択の修正を提案

コミュニティのテストでは、FlashInferの負荷推定によってH20が非効率な演算カーネルを選ぶ可能性が示された。修正後、特定のMoE演算子は約3.21倍高速化した。修正はまだマージされておらず、サービス全体への効果と一部の正確性テストは未検証だ。