Poolside、Laguna S 2.1をオープン化：118B MoEで各tokenあたり有効化するパラメータはわずか8.5B

Poolsideは、エージェント型コーディング向けのオープンウェイトモデル「Laguna S 2.1」をリリースした。総パラメータ数は117.6Bだが、Mixture-of-Experts（MoE）アーキテクチャを採用しており、各tokenで有効化されるパラメータは約8.5Bにとどまる。モデルは48層、256のexpert、1つのshared expertで構成され、tool callの合間にもインターリーブされた推論状態を保持できる。

アーキテクチャの重点は、単にパラメータ数を増やすことではなく、長いコンテキストにおけるメモリトラフィックの制御にある。48層のうち36層が512-tokenのsliding-window attentionを使用し、global attentionを実行するのは12層のみだ。さらに、head単位のsoftplus gateによってattention出力を調整する。FP8版ではKV cacheもFP8に量子化できる。公式model cardにはネイティブコンテキスト長として262,144 tokenと記載されている一方、一部のホステッドendpointは最大100万tokenを提供する。そのため、エンジニアリングチームはAPI仕様を、すべてのローカルウェイトに対する保証と直接同一視すべきではない。

公式発表によると、Laguna S 2.1はTerminal-Bench 2.1、SWE-bench Multilingual、公開版SWE-Bench Proで、それぞれ70.2%、78.5%、59.4%を記録した。最終評価trajectoryも公開されており、エージェントが実際にタスクを完了したかを検証しやすい。ただし、比較表にはPoolsideが独自に実施した結果と第三者が報告した結果が混在しているうえ、モデル、エージェントフレームワーク、制限時間、ツール設定も完全には統一されていない。したがって、単一のパーセンテージだけで順位を判断することはできない。

重みはBF16、FP8、INT4、NVFP4で提供され、vLLM、SGLang、TensorRT-LLM、llama.cpp、Ollamaをサポートする。FP8ファイルでも容量は約121GBある。「ローカルで実行可能」とは通常、ワークステーションクラスの共有メモリ、複数GPU、または追加の量子化を意味し、一般的な24GB GPUでの実行を意味するわけではない。OpenMDW-1.1ライセンスは商用利用と変更を認めているが、デプロイ担当者は利用制限を確認する必要がある。今後注目すべき点は、独立した長時間ワークフローのテスト、量子化による能力低下、そして大規模コードベースでファイルをまたいで追跡する際にsliding windowがもたらす実際の代償だ。