FreeToken、CPU・GPU・PCIeを動的に割り当て、35B MoEを8GBのVRAMで実行

FreeTokenは、パーソナルコンピューター向けに再設計されたMoE推論エンジンだ。一般的なCPU–GPUハイブリッド方式では、ロード時にどのエキスパートをGPUへ常駐させるかを固定する。一方、FreeTokenはGPU、CPU、メインメモリ、PCIeを単一の可変リソースプールとして扱う。まず`ft bench bw`でハードウェアを計測し、その後、各デコードステップで、キャッシュミスしたエキスパートをPCIe経由でGPUへ転送するか、CPUで直接実行するかを決定し、両方の経路をオーバーラップさせる。

この設計では、prefillとdecodeを別々に処理する。長いプロンプトのprefillでは、ほぼ各層の全エキスパートにアクセスするため、システムは層単位のダブルバッファリングによるストリーミングを採用し、次の重みバッチの転送を現在の計算の背後に隠蔽する。ワーキングセットがより疎なdecodeでは、グローバルLRUエキスパートキャッシュと帯域幅適応型スケジューリングを使用する。coding agentがツールの結果を繰り返し追加したり、思考ブロックを削除したり、コンテキストを圧縮したりする状況に対応するため、FreeTokenはセマンティックアンカー、反復状態、KV cacheも保持し、各ターンで最初から再計算することを避ける。余ったVRAMは、再起動やメインメモリ内の重みの再ロードを行うことなく、エキスパートスロットとKVページの間で動的に再配分できる。

論文では、8GBのノートPC向けGPUで35B MoEを、ゲーミングデスクトップで284B DeepSeek-V4-Flashをサービングし、単一の96GB RTX PRO 6000 Blackwellで753B GLM-5.2を実行している。これらの数値はモデルの総パラメータ数を示すものであり、全重みがGPUに常駐することを意味しない。性能は、メインメモリ容量、CPUのメモリ帯域幅、PCIeの世代、量子化形式、エキスパートルーティングの分布に大きく左右される。プロジェクトはApache 2.0ライセンスでオープンソース化され、OpenAI／Anthropic互換エンドポイントを提供し、20種類以上のモデルをサポートする。ただし、現時点では主にNVIDIA RTX 30、40、50シリーズおよびBlackwellを対象としており、AMD、Apple Silicon、低速なメモリ構成での動作については、今後の検証が必要だ。