Ling‑3.0‑tinyは各tokenで有効化するパラメータがわずか1.3Bだが、ローカル実行には依然として専用runtimeブランチが必要

InclusionAIは、MITライセンスのLing‑3.0‑tinyをリリースした。ローカル環境やエッジデバイスで実行可能なハイブリッド推論モデルと位置付けられている。総パラメータ数は7.9Bだが、各tokenで有効化されるのはわずか1.3B。モデルカードではBF16、FP8、INT4の重みが提供され、デプロイ担当者は品質、メモリ、スループットのバランスに応じて選択できる。[公式モデルカード](https://huggingface.co/inclusionAI/Ling-3.0-tiny)

そのアーキテクチャは、標準的なTransformerを単純に小型化したものではない。4層ごとに3層のKimi Delta Attention（KDA）と1層のMulti-Head Latent Attention（MLA）を組み合わせ、長いコンテキストの計算の大部分を線形Attentionに担わせつつ、MLAでコンテンツ依存のグローバルな相互作用を補完することを狙っている。FFNには128個のルーティングエキスパートが含まれ、各tokenは8個のエキスパートを選択するとともに、固定で1個の共有エキスパートを通過する。モデルは`enable_thinking`を使用して、高速な回答と多段階推論を切り替えられる。公式は、256K YaRNコンテキストとNEXTN投機的デコーディングに対応するSGLangレシピも提供している。[SGLangデプロイガイド](https://docs.sglang.io/cookbook/autoregressive/InclusionAI/Ling-3.0-tiny)

公式のハードウェアテストによると、FP8モデルの出力速度はDGX Sparkで約100〜105 token/s、M4 Pro搭載MacBookで約86〜90 token/sに達し、8Kコンテキストでのピークメモリ使用量は約8.34 GiBだった。Artificial Analysis Intelligence Index v4.1.1とAgentic Indexのスコアは、それぞれ25と16。ただし、これらの数値は異なるハードウェアと評価レシピを使用しているため、直接比較することはできない。また、長いコンテキストにおける品質や、実環境でのエージェントとしての信頼性を証明するには、まだ十分ではない。

現時点で最も明白な制約は、デプロイ環境の成熟度だ。SGLangでは対象モデルを追跡する開発用イメージを使用し、vLLMのインストール手順ではInclusionAIの`ling_3_0`ブランチが必要とされる。OllamaのサポートはまだPR段階であり、モデルカードで確認されているのはApple Silicon上のMLX経路のみだ。また、現在このモデルを直接ホスティングするHugging Face Inference Providerも存在しない。エンジニアリングチームが今後注視すべき点は、runtimeの変更が上流へマージされるか、INT4の実測品質、長いシーケンスにおけるルーティングエキスパートのメモリ挙動、そしてコミュニティが公式のスループットおよびエージェント評価を独立して再現できるかどうかだ。