Daedalus-150M、注意層の3分の2を畳み込みに置き換え、2KコンテキストでCPUデコードを1.76倍高速化

Daedalus-150Mは8月20日、論文、コード、重みを公開した。その設計方針は、標準的なTransformerを事後的に圧縮してCPUに載せるのではなく、メモリアクセスコストから逆算してモデルアーキテクチャを構築するというものだ。モデル全体は18ブロックで構成され、そのうち完全な注意機構を使用するのは6層のみ。残る12層はkernel size 3のdepthwise convolutionに置き換えられ、各層が保持するのは2タイムステップ分の固定状態だけだ。注意層には、12個のquery headと4個のKV headからなるGQAを採用している。

この構成により、自己回帰デコード時に再読み込みが必要なキャッシュ量が直接削減される。著者らの計算によると、2,048 tokenのコンテキストで1 tokenを生成するたびに、Daedalusが読み込むキャッシュは約12.6 MBであるのに対し、24層すべてが注意層のリファレンスアーキテクチャでは25.2 MBとなる。4-bit重みと8 CPUスレッドでのテストでは、Daedalusは空のコンテキストで1,112 token/sを記録し、優位性は1.20倍にとどまった。しかし2,048 token時にも739 token/sを維持し、同じデータと学習レシピを使用したパラメータ数一致モデルは420 token/sまで低下したため、差は1.76倍に拡大した。外部の同規模モデルとの比較では、最大2.08倍の高速化を記録している。

モデルは599億tokenを用いてゼロから学習され、5つの常識ベンチマークの平均スコアは47.31だった。これは初期の約1.3億〜1.6億パラメータの複数モデルを上回るが、2兆tokenで学習され、平均51.2を記録したSmolLM2-135Mには及ばない。プロジェクトではApache 2.0ライセンスのコード、GGUF、Hugging Faceの重みを提供しているほか、評価ログとパラメータ数を一致させたアブレーションの記録も保存されており、再実行しやすい構成になっている。

制約も明確だ。現時点では英語と2,048 tokenのみに対応し、報告された結果は単一の学習seedに基づいている。Q4_0量子化によってperplexityが約6%悪化し、畳み込みチャネルの約48%には非活性化が見られる。また、49,152語の過大な語彙表が全パラメータの約23%を占めている。今後は、異なるx86およびARM CPUでの実測、長いコンテキストへの拡張、非活性チャネルを削減した後も同じ速度曲線を維持できるかが注目される。