推論系統
Colibrìは兆パラメータ級MoEの重みをVRAM、RAM、NVMeに階層配置するが、低メモリだからといって高速推論とは限らない
最近コミュニティで注目度が高まっているColibrìは、純C製エンジンでスパースなエキスパートをオンデマンドに読み込み、744Bから2.8Tパラメータのモデルをデータセンター向けではないハードウェアでも起動可能にする。引き下げられるのはモデルの常駐メモリ要件であり、実際のデコード速度は依然としてSSD帯域幅、エキスパートのヒット率、量子化品質に大きく左右される。