本機 AI／推論系統
Magnitude 依記憶體頻寬與容量挑選本機模型，為程式代理自動配置量化與推測解碼
新開源推論伺服器 Magnitude 會實測硬體，再推薦模型、量化、上下文長度與預估速度的完整組合。它把本機代理最容易配錯的記憶體與併發參數自動化，但效能與模型品質目前仍主要依賴專案方的目錄及測試。
Magnitude 開源了一套面向程式代理的本機推論伺服器，重點並非再包裝一個模型啟動器，而是先量測機器，再決定應該執行哪個模型。CLI 會辨識晶片與可用記憶體、測量實際記憶體頻寬並執行短測試，最後以「最快、均衡、最聰明」等取向列出完整配置；每項建議包含模型、量化版本、上下文長度、記憶體需求及預估 tokens/s，而不是只檢查 GGUF 檔案能否載入。
這種設計針對代理工作負載的特殊瓶頸。長週期 coding agent 會在每輪重新處理對話、工具輸出與檔案內容，KV cache 可能持續膨脹；若併發度過高，伺服器雖然不一定崩潰，卻可能壓縮可用上下文，使代理在後段遺失先前決策。Magnitude 因此依硬體設定併發與推測解碼，並在請求到來時才載入模型、閒置或記憶體不足時卸載。它也能寫入 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Cline 等 harness 的配置；下載完成後可離線使用，另接受目錄外的相容 GGUF。
專案採 Apache 2.0，支援 macOS、Linux，以及透過 WSL 執行的 Windows；GitHub 在報導時約有兩千顆星，顯示本機代理推論確有開發者興趣。不過，「最佳模型」仍取決於目錄中的品質判定、量化測試與特定任務，預估速度也不等於長代理軌跡的端到端吞吐量。工程團隊下一步應以自己的儲存庫、工具成功率和長上下文退化做對照測試，並檢查自動寫入的 harness 設定與模型來源，而不是只採用推薦排行榜。