模型架構／推論
Intern-S2-Mobius、FFNの記憶をモデル全体で共有し、35Bモデルで約4倍のエンドツーエンド推論高速化を報告
Intern-S2-Mobiusは、従来のTransformerで各層に結び付いていた知識ストレージと注意機構による推論を分離し、複数のReasonerが同一のグローバルMemoryを繰り返し参照できるようにする。オープンウェイトはLMDeploy、vLLM、Transformersで読み込めるが、約4倍という高速化は、あくまで公式の特定ベンチマークにおける結果だ。
InternLMチームは、35B規模のIntern-S2-Mobiusのウェイトを公開した。その中核はMoEのエキスパート数を増やすことではなく、Transformer内部の知識と計算の配置を再設計することにある。従来のアーキテクチャでは、各層のFFNに知識を格納し、self-attentionで現在の表現を操作する。これに対しMobius-v0は、モデル全体で単一のMemoryを共有し、複数のReasonerがhidden stateを使って、その中の知識ベクトルを繰り返し参照・合成する。backward residual connectionにより、推論の早い段階からより深い層の知識へアクセスすることも可能で、固定された層順に沿って一方向に伝播するだけではない。
[技術レポート](https://arxiv.org/abs/2608.14290)によると、ゼロから学習した7B版は、Transformerベースラインの62.6%の学習データだけで、同等のダウンストリームスコアを達成した。Qwen3.5-35Bから継続事前学習し、さらにSFTとRLを施したIntern-S2-Mobiusは、総合的な能力を同等に維持しながら、エンドツーエンド推論を約4倍高速化したという。公式はこの性能向上について、単一kernelが4倍高速化した結果ではなく、連続的なhidden state上で行われる動的なlatent reasoning、短縮された可視の推論出力、そしてリクエストスループットの向上によるものだと説明している。
[モデルカード](https://huggingface.co/internlm/Intern-S2-Mobius)では、Apache-2.0ライセンスのウェイトが提供されており、約36Bパラメータ、BF16形式と記載されている。また、LMDeploy、Transformers、vLLMによるデプロイ方法も掲載されている。推奨構成では、4個のdraft tokenを使用するMTP speculative decodingが有効になる。vLLMではさらに、`trust_remote_code`、Qwen3 reasoning parser、tool calling parserが必要となるため、現時点では任意の35B Transformerをそのまま置き換えられる透過的なエンドポイントではない。
今後、エンジニアリングチームは、アーキテクチャ、出力の短縮、MTPがそれぞれもたらす速度向上を個別に測定し、同一のハードウェア、バッチ、プロンプト長、出力token数という条件で再検証すべきだ。論文の比較対象は主に自社モデルとQwen3.5-35Bに集中しており、フレームワークをまたいだ第三者によるスループット、time to first token、長文コンテキストの品質、メモリ使用量の検証はまだ不足している。