模型架構與推論
T‑LoopFormer、各 token が再帰深度を自ら選択し、ループごとに KV cache を分割
新アーキテクチャは3層の共有ブロックを反復実行し、ルーターが token ごとに早期終了するか、潜在的な推論を継続するかを決定する。論文では約10億パラメータ規模の実験において、固定深度の looped Transformer をレイテンシと精度の両面で上回ったと報告しているが、フロンティアモデルや主要な推論エンジンではまだ検証されていない。
9月14日に公開された [T‑LoopFormer](https://arxiv.org/abs/2609.15160) は、動的計算を「シーケンス全体で深度を選ぶ」方式から、個々の token 単位へと細分化した。一般的な looped Transformer は、同じ重みのセットを繰り返し使用することで、少ないパラメータ数でより大きな実効深度を実現する。しかし、単純な token と難しい token のいずれも、通常は同じ回数の計算を強いられるという問題がある。T‑LoopFormer の軽量ルーターは、各 token の初期 hidden state に基づいて再帰深度を指定し、単純な token は早期終了させ、より難しい token は共有ブロックを引き続き通過させる。この決定は、その token がその時点ですでに持つ状態のみに依存するため、自己回帰的な因果性を損なわない。
動的終了を導入しても、すべての深度について完全な KV cache を保存し続ければ、実際のレイテンシが低下するとは限らない。そこで研究チームは、再帰の各ループに独立した cache を維持し、その深度で引き続きアクティブな token のみを保持するようにした。Attention も対応する cache 内に制限される。さらに、学習時と推論時には gather–scatter を使用し、すでに終了した要素をスキップする。FineWeb‑Edu の検証セットでは、約61%の token が2〜3ループで終了した一方、約15%は7〜8ループまで実行された。これは、固定深度では単純な token を過剰に計算すると同時に、ロングテールに属する token の計算需要を過小評価する可能性があることを示している。
実験では、NanoGPT に似た decoder を FineWeb‑Edu‑100B 上で1,000億 token 学習させ、24層・約10億パラメータの非循環ベースラインと、3層の共有ブロックを最大8回反復するモデルを比較した。論文で定義された 24× FLOPs 設定において、T‑LoopFormer の10種類の zero-shot タスクでの平均スコアは44.20%で、24層ベースラインの43.80%をわずかに上回った。出力 token 当たりのレイテンシは0.197ミリ秒で、LoopFormer の0.441ミリ秒より短かった。著者らは [MIT License の実装](https://github.com/YuMingQian1234/T-LoopFormer) を公開しており、コードは NanoGPT に近い構成を維持しているため、ルーティングと cache のロジックを確認しやすい。
ただし、これらの数値はあくまで制御された研究環境で得られたものであり、vLLM、SGLang、あるいは大規模バッチを扱う serving 環境での実効 throughput を示すものではない。また、最大深度を 12× または 6× FLOPs に下げた場合、同等規模の非循環ベースラインを下回った。今後は、より大規模な事前学習、異なるハードウェアにおけるルーティング分岐のコスト、そして動的な token 集合が GPU kernel 内で高い utilization を維持できるかどうかを検証する必要がある。