RWKV7-G1j、アテンションフリーの再帰型モデルを13.3Bへ拡張――長いシーケンスのデコードでも固定サイズの状態を維持

RWKVチームは、RWKV-7「Goose」のアテンションフリー再帰型アーキテクチャを132.7億パラメータへ拡張した`RWKV7-G1j-13.3B-20260831`を公開した。このApache 2.0ライセンスのベースモデルは、61層、4096次元の隠れ層、65,536語彙、16,384-tokenの学習コンテキストを備え、重みはBF16で提供される。学習データには、Web、コード、合成データ、指示、対話、推論コンテンツが混合されている。

技術的な要点は、単なるパラメータ数の増加ではなく、TransformerのKV cacheのように、シーケンスが長くなるにつれてデコード状態が増大しないことにある。RWKV-7は、ベクトルゲート、コンテキスト学習率、緩和された値置換ルールを備えた一般化delta ruleによって固定サイズの状態を更新する。このため、生成token当たりの理論上の状態メモリと計算量を一定に保ちながら、並列学習にも対応できる。これは長時間稼働するローカルエージェント、ストリーミング処理、メモリ制約のある環境へのデプロイにとって魅力的だ。ただし、「固定状態」はGPUメモリ使用量全体が固定されることを意味しない。実際の要件は、依然として重み、バッチサイズ、データ型、実行バックエンドに大きく左右される。

今回のパッケージ化により、実験を始めるハードルも下がった。モデルリポジトリには、Transformers 5.15+向けのリモートコード、Rust製fast tokenizer、チャットおよびtool calling用テンプレートに加え、`SFTTrainer`、PEFT LoRA、再帰状態の継続利用をサポートするインターフェースが含まれる。さらに、PyTorch fallbackとオプションのTileLangアクセラレーションも用意されている。公式は、完全なTileLangパスでは浮動小数点演算の順序が変わる可能性があるため、GPU、dtype、shape、チェックポイントごとに数値的一貫性を検証する必要があると注意を促している。Transformersでの読み込みには引き続き`trust_remote_code=True`が必要であり、本番環境ではコードをレビューし、revisionを固定すべきだ。

制約も明確だ。これはbase modelであり、チャットテンプレートはプロンプト形式を定義するだけで、instruction alignmentが実施済みであることを意味しない。model cardには、この13.3Bチェックポイントに関する標準的な能力、安全性、バイアス、long-contextの評価結果が掲載されていない。再帰状態のロールバックを必要とするspeculative decodingでは、スナップショットも別途保存しなければならない。今後は、独立したベンチマーク、実際の長いシーケンスにおけるスループット、そしてvLLMやSGLangなどの汎用サーバーが固定状態によるメモリ上の利点を安定して引き出せるかに注目すべきだ。