推論系統
Magnitude、メモリ帯域幅と容量に基づいてローカルモデルを選定し、コーディングエージェント向けに量子化と投機的デコーディングを自動構成
新しいオープンソース推論サーバー「Magnitude」は、ハードウェアを実測したうえで、モデル、量子化、コンテキスト長、推定速度を組み合わせた完全な構成を提案する。ローカルエージェントで設定ミスが起きやすいメモリと並行処理のパラメータを自動化する一方、現時点での性能とモデル品質は、主にプロジェクト側のカタログとテストに依存している。