ホームへ戻る

GitHub Repo

Ollama、Inkling 2 Miniに対応 ローカル循環型アーキテクチャモデルをApple siliconで提供

Thinking Machinesは11月20日にInkling 2 Miniを公開し、Ollamaはモデルのダウンロードとエージェントツールからの起動方法を案内しています。約264億パラメータのこのモデルは共有層を繰り返し実行して計算深度を高めますが、現時点でOllamaの対応はApple siliconに限られ、デプロイ時にはキャッシュ用メモリの確保も必要です。

ChippyTimeCom · CC BY-SA 4.0 · Image source
zh-Hant

Thinking Machinesは11月20日、オープンウェイトのInkling 2 Miniを公開しました。Ollamaのv0.40.17リリースノートにも対応が記載されています。開発者はollama run inkling-2-miniを実行して、テキストと画像の入力を受け付け、ツール呼び出しに対応するモデルを読み込めます。このバージョンの対応対象はApple siliconに明確に限定されており、PCへの対応は今後のバージョンを待つ必要があります。Ollamaのリリースノート、公式モデルカード

技術面の要点は、重みを共有して循環的に計算する仕組みです。モデルは24個のデコーダー層を持ち、そのうち中間の12層を各トークンについて3回実行するため、層の演算回数は合計48回になります。各層では、128個のエキスパートから8個を選択します。公式発表によると、総パラメータ数は264億、アクティブパラメータ数は34億です。追加の循環計算を含めた実効アクティブパラメータ数は約54億となります。これがOllamaのページで54億という数値が使われている理由であり、保存容量とトークンごとの計算量を混同しないためのポイントです。公式モデルカード

循環型アーキテクチャは保存が必要な独立した重みの量を減らしますが、各回の計算は依然として必要です。Hugging Faceの技術記事によると、層を訪問するたびにKVと短い畳み込み状態がそれぞれ保持されるため、重みのサイズだけから長いコンテキストのコストを推定することはできません。モデルの最大コンテキスト長は100万トークン、チェックポイントは約20GBで、NVFP4とMXFP8の混合精度を採用しています。公式の対応構成には、メモリ32GB以上のApple silicon搭載デバイスが含まれます。実運用では、入力長や同時実行数の増加に伴うメモリ使用量のピークを測定する必要があります。アーキテクチャ解説、ハードウェア要件

エージェント用途では、OllamaのモデルページにClaude Code、OpenCode、Hermes Agentの起動コマンドが掲載されており、ローカルでのテストを始めやすくなっています。公開元はSWE-bench Verifiedで79.2%を報告していますが、これは指定されたツールと評価条件での結果であり、中国語のコード保守や長時間タスクの成功率をそのまま示すものではありません。今後は、PC対応の有無、実際の生成遅延、同じエージェントフレームワークでのツール呼び出しの信頼性に注目したいところです。Ollamaのモデルページ、評価設定

出典

  1. Ollama v0.40.17 發布說明
  2. Inkling 2 Mini 官方模型卡
  3. Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup
  4. Ollama Inkling 2 Mini 模型頁