Ollamaプレビュー版にコードエージェントモデル「Flint」を追加、初版はmacOS限定で対応

Ollamaは10月21日、Recursiveのコードエージェントモデル「Flint」を追加したv0.40.8-rc0をリリースしました。リリースノートにはollama run flintで起動する方法が記載されており、rc0でのFlintの対応範囲はmacOSに限られ、他のGPUへの対応は後続のリリース候補版で予定されていると明記されています。コードエージェントをローカルで動かしたい開発者に新たな導入手段を提供しますが、プラットフォームとバージョンの確認が必要です。Ollamaリリースノート

Flintは総パラメータ数398億で、トークンごとに約25億パラメータが有効になります。テキストの入出力、推論、複数ターンのツール呼び出しに対応し、重みはApache 2.0ライセンスで公開されています。モデル設定上のコンテキスト長は262,144トークンで、入力と生成内容が同じ枠を共有します。疎な活性化によって各ステップの計算量は抑えられますが、モデル全体のメモリ要件を25億パラメータのモデル相当と見なすことはできません。公式モデルカード

今回の統合では、ツール用プロンプトとアテンション計算にも変更が加わりました。Ollamaのタグ説明によると、実装はデコード後のAPI値とは別にツールの元のJSONを保持し、Flintがプロンプト内で数値型とスキーマの順序を維持できるようにしています。また、MLXのアテンションには、オプションの学習可能なAttention Sinkとデバイス側の因果マスクが追加されました。インポート処理ではModelOptのエキスパート重みも組み立てられます。変換せずにFlint NVFP4モデルを直接作成する手順は拒否されます。リリースの技術説明

サーバー側でも同日、デプロイに関する進展がありました。vLLMはFlint専用のイメージを提供し、その量子化カーネルは単一のBlackwell GPU向けに最適化されていると説明しています。それ以外の構成では標準レイヤーにフォールバックします。そのため、同チームが公表した長いコンテキストでのデコード速度を、Ollamaや一般的なデスクトップGPUにそのまま当てはめることはできません。vLLM技術記事

今後は、他のGPUへの対応時期に加え、異なる精度や実行環境でのツール呼び出しの正確性を確認する必要があります。モデルカードは公式チャットテンプレートを使用し、会話履歴にreasoning_contentを保持するよう求めています。また、長い推論によって出力トークンの予算を使い切る可能性も注意点として挙げています。エンジニアリングチームは自社のリポジトリ上のタスクで完了率、遅延、メモリ使用量を検証すべきです。コンテキスト長だけでは、長時間タスクの品質は保証されません。モデルの使用上の制約