最新模型
Inkling 2 Small、Apache 2.0ライセンスで重みを公開 ネイティブNVFP4でのデプロイには少なくとも500GBのGPUメモリ
Thinking Machinesは11月12日、Inkling 2 Smallの重みを公開し、これまでサービス経由に限られていたマルチモーダルモデルを、セルフホストとファインチューニングにも利用できるようにした。モデルは総パラメータ数594B、アクティブパラメータ数17BのMoEアーキテクチャを採用。エンジニアリングチームは、GPUメモリ、コンテキスト長、推論フレームワークの制約に引き続き注意する必要がある。

Thinking Machinesは11月12日、公式発表を更新し、Inkling 2 Smallの重みがダウンロード可能になったと発表した。Hugging Faceのモデルリポジトリでは、Apache 2.0ライセンスが適用されている。モデルは11月5日にTinker経由で公開されており、今回の実質的な変更は重みの公開だ。これにより、チームはモデルを自社でデプロイし、ファインチューニングして、製品に統合できる。公式発表
Inkling 2 Smallはテキストと画像を入力として受け取り、テキストを出力する。総パラメータ数は594Bで、各トークンにつき約17Bのパラメータが有効化される。モデルカードによると、48層のデコーダーアーキテクチャで、各トークンについて384個のエキスパートから8個を選択し、ローカルアテンションとグローバルアテンションを組み合わせている。デプロイ時には、スパースな有効化によって計算量を抑えられる一方、全重みを保存するためのストレージとGPUメモリは必要だ。ハードウェア規模をアクティブパラメータ数だけから見積もることはできない。モデルカード
公式はNVFP4とMXFP8の2種類のチェックポイントを提供しており、必要な合計GPUメモリはそれぞれ少なくとも500GBと800GBだ。モデルは事前学習から事後学習までNVFP4を使用しており、公式もこのネイティブ精度版を推奨している。モデルカードに記載されたハードウェア要件は、実際のコンテキスト長や同時リクエスト数の要件と合わせて評価する必要がある。モデルカード
vLLMのデプロイガイドは、長いコンテキストのコストも示している。検証済みの構成では、4 GPUのトレイ1台で最大262,144 tokensをサポートし、100万トークンのコンテキスト全体を使う場合は、TP8でトレイ2台を使用する。正式リリースでサポートされるまでは専用イメージを使うようガイドは求めており、DSpark推測デコーダーを組み込んだ設定も提供している。つまり、重みの公開後も、利用できる機能はフレームワークのバージョンとサービング設定に左右される。vLLMデプロイガイド
ファインチューニングとエージェント統合にも制約がある。vLLMガイドによると、エキスパート層のLoRAにはBF16のエキスパート重みが必要で、現在の低精度チェックポイントではアテンション層のアダプターを使う必要がある。ツール呼び出しパーサーにはユニットテストがあるものの、エンドツーエンドのツール呼び出しベンチマークはまだ完了していない。次の段階として、エンジニアリングチームは自社の繁体字中国語タスク、ツールチェーン、トラフィックを使って、成功率、レイテンシ、メモリ使用量を検証し、デプロイ構成を決めるべきだ。vLLMデプロイガイド