推論系統
Colibrìは兆パラメータ級MoEの重みをVRAM、RAM、NVMeに階層配置するが、低メモリだからといって高速推論とは限らない
最近コミュニティで注目度が高まっているColibrìは、純C製エンジンでスパースなエキスパートをオンデマンドに読み込み、744Bから2.8Tパラメータのモデルをデータセンター向けではないハードウェアでも起動可能にする。引き下げられるのはモデルの常駐メモリ要件であり、実際のデコード速度は依然としてSSD帯域幅、エキスパートのヒット率、量子化品質に大きく左右される。
Colibrìは最近、より多くの最先端MoEモデルをサポートしたことで、技術コミュニティから再び注目を集めている。現在、GLM‑5.2／5.3、Inkling、Kimi K3、DeepSeek V4、Qwen3.8 Flash Nextなど9つのファミリーを掲げている。その中核となる手法は、すべての重みをメモリに詰め込むことではなく、VRAM、RAM、NVMeを単一の階層型ストレージとして扱うことだ。744BパラメータのGLM‑5.2を例にすると、約17Bパラメータの密な部分はint4で約9.9 GBのRAMに常駐し、約2万個のルーティング対象エキスパートは約370 GBのディスクコンテナに保持され、gateによって選択された場合にのみ読み込まれる。
各tokenでディスク待ちが発生する時間を減らすため、ランタイムはエキスパートの使用頻度を記録し、レイヤーごとのLRUと固定ホット領域を構築するとともに、ルーターが1レイヤー先をプリフェッチできるようにする。同じbatch内で繰り返し選択されたエキスパートは一度しか読み込まれない。デュアルSSDモードでは、決定論的ハッシュによって読み取り専用の重みを振り分け、読み取りに失敗した場合はプライマリディスクへフォールバックする。プロジェクトはCUDA、HIP、Metal、Vulkan、NUMA、CPU kernelも実装し、MTP speculative decoding、圧縮MLA KV cache、永続化された会話状態を同じエンジンに統合している。
この設計のエンジニアリング上の価値は、「読み込めるか」と「十分に速いか」を切り分けた点にある。公式の記録によると、25 GBの開発マシンでのコールドスタート時のデコード速度は約0.05～0.1 token/sにすぎない。128 GBのCPUデスクトップではウォームアップ後に約1.8 token/s、RTX 5090を6基使用して全重みを常駐させた場合でも約5.8～6.8 token/sだった。これらの数値は異なるマシンとワークロードから得られたものであり、横並びのランキングとして扱うことはできない。
デプロイ担当者は、推奨されるGLM‑5.2コンテナ自体が約372 GBあることにも注意が必要だ。従来型の行単位int4バージョンは、プロジェクトのテストで品質が約9ポイント低下した。MTP headをint4に量子化すると、acceptance rateがほぼゼロになる可能性もある。今後は、固定したモデル、prompt、cache状態、ハードウェアという条件下でコミュニティが性能を再現できるか、また使用頻度の学習が単一のワークロードにoverfittingしないかを見極める必要がある。