Thinking Machines、Inklingを公開：100万トークンとネイティブ・マルチモーダルに対応する975B MoEオープンウェイトモデル

Thinking Machines Labは、初の独自事前学習済みオープンウェイトモデル「Inkling」を公開した。総パラメータ数9750億、推論ごとに約410億パラメータをアクティブ化するMixture-of-Experts Transformerで、45兆のテキスト、画像、音声、動画トークンを用いて事前学習され、最大コンテキスト長は100万トークンに達する。テキスト、画像、音声を入力として受け取り、テキストを出力する。ウェイトはApache 2.0ライセンスで提供される。小規模版のInkling-Smallは総パラメータ数2760億、アクティブパラメータ数120億だが、現時点ではプレビュー段階で、ウェイトはまだ完全には公開されていない。

このモデルで特に注目すべきなのは、単一のベンチマーク順位ではなく、制御可能な推論コストとポストトレーニングを同じインターフェースに統合した点だ。ユーザーはeffortを調整でき、Tinkerを通じてファインチューニングを実行できる。チームはさらに、モデルがエージェントフレームワーク内で自身のファインチューニングジョブを記述し、データと評価を構築したうえで、新しいウェイトを読み込む様子を実演した。トレーニングについて、公式発表では非同期強化学習によって3000万回を超えるrolloutを実施し、NVIDIA GB300 NVL72システム上で学習したとしている。

公式は、Inklingが総合的に最強のモデルではないことを認めている。また、公開ページに掲載された一部の結果は、公開ウェイトとは異なるチェックポイントで得られたもので、テスト期間は6月30日から7月13日までだった。そのため、ベンチマークの数値をダウンロード可能なバージョンの性能保証と直接みなすことはできない。エンジニアは今後、VRAM要件、エキスパートルーティングの効率、長大なコンテキストにおける実際の記憶能力、さらにTransformers、vLLM、SGLang、および量子化バックエンドを用いたマルチノード展開の成熟度を実環境で検証する必要がある。