Apertus 1.5、ネイティブな画像・音声理解に対応—8B／70Bのオープンモデルが26万tokenをサポート

Swiss AI Initiativeは7月24日、8Bと70Bの2つの規模でApertus 1.5をリリースした。新版はゼロから新たなアーキテクチャを構築するのではなく、Apertus 1.0のdecoder-only Transformer、xIELU activation、AdEMAMix optimizerを踏襲している。チームは8Bモデルに約4兆token、70Bモデルに約2兆tokenのマルチモーダル継続事前学習データをそれぞれ追加し、テキスト、画像、音声を入力として受け取り、テキストを出力できるようにした。

デプロイ面で最も直接的な変更は、デフォルトのコンテキスト長が前世代の65,536から262,144 tokenへ拡大されたことだ。このほか、切り替え可能なthinking mode、tool calling parser、より包括的なinstruction-followingのpost-trainingも追加された。モデルカードにはvLLMでの起動方法が掲載され、70Bの例では4-way tensor parallelが採用されている。ただし現時点では、Swiss AIが修正したvLLMまたはTransformersのブランチを使用する必要があり、アップストリーム版にはまだ正式にマージされていない。長いコンテキストに対応したからといって、あらゆるハードウェアで上限まで直接利用できるわけではない。公式は、メモリが不足する場合には`max-model-len`を引き下げる必要があると明記している。また、一部のマルチGPU構成では、fused all-reduce RMSとCUDA Graphの競合により、fusionを無効化しなければならない可能性がある。

今回のリリースが持つ技術的な意義は、マルチモーダル機能だけではない。Apache 2.0を維持し、重み、データソース、学習レシピ、中間成果物を公開する方針を継続しているため、政府、研究機関、企業が監査し、独自にデプロイできる。今後、エンジニアリングチームが注視すべき点は3つある。アップストリームのvLLM／Transformersとの互換性、画像・音声タスクにおける実測スループット、そして26万token使用時の品質劣化だ。公式によると、完全な技術レポート、ベンチマーク、学習パイプライン、中間チェックポイントの公開には、なお数週間を要する。そのため現時点では、「同規模モデルに匹敵する」といった主張や推論性能の改善を独立して再現することはできない。