Liquid AI、3 種混合運算を採用した1.7Bテキストモデル「LFM3」を公開　本機エージェントに対応

Liquid AIは10月27日、LFM3を発表した。初回リリースには、約2Bパラメーターのテキスト、ビジョン、音声、全モダリティ、意思決定モデルが計6種類含まれ、いずれもLFM3-1.7B-Baseを基に派生している。今回の技術的な要点は、ファインチューニング可能な小型の共通バックボーンをさまざまな入力やタスクに展開し、開発者が用途に応じてモデルを選び、デバイス上で専用アプリケーションを構築できるようにしたことだ。公式発表

テキスト版のLFM3-1.7Bは17.3億パラメーターを持ち、24層の内訳は、ゲート付き短畳み込み層が13層、スライディングウィンドウ注意機構が5層、グローバル注意機構が6層となっている。局所注意のウィンドウは256 tokensだ。この構成により、局所的な系列処理を保ちながら、位置をまたいだ情報交換も可能にしている。また、モデルはヘッドごとのゲート付き注意機構と部分的なRoPEを採用。公式によると、活性値の外れ値を抑え、長いコンテキストにおける品質と速度のトレードオフを改善することを設計目標としている。アーキテクチャの説明

学習では、共通バックボーンに約22T tokensを使用し、最終段階でエージェントの軌跡とツール呼び出しを追加して、コンテキストを256Kまで拡張した。テキスト版の学習後処理には、教師ありファインチューニング、混合強化学習、6種類の専門教師モデルによるポリシー蒸留、実際のエージェントフレームワーク内でタスクを実行する強化学習を組み合わせている。モデルカードでは、ツール呼び出し、構造化出力、ドメイン特化のファインチューニングを主な用途として挙げており、中国語を含む言語に対応している。モデルカード

公式発表によると、WebArena-Verifiedのスコアは、前世代のLFM2.5-2.6Bの3.02から38.42に向上した。ただし、これはベンダーによる評価であり、あらゆるウェブサイトや企業ワークフローでも同等の改善が得られるとは限らない。モデルカードは、知識集約型タスクでは検索との併用を明確に推奨し、エージェント型コーディングや複雑な多段階推論には推奨していない。評価と制約

デプロイ時には、重みの容量と実行時に必要なメモリー全体を区別する必要がある。公式が示す4ビット量子化時の約1 GBという値は、長いコンテキストを扱うワークロードの総メモリー要件を意味しない。Ollamaではすでにollama run lfm3を利用できるが、v0.40.12のリリースノートでは、今回のモデル対応はAppleハードウェアに限定されており、Linux／Windowsへの対応は今後の提供となっている。エンジニアリングチームは、中国語での自社ツール利用フローを使って、パラメーターの正確さ、長時間の対話の安定性、遅延、メモリー使用量のピークを確認し、既存モデルを置き換えるのに適しているか判断すべきだ。Ollamaモデルページ、リリースノート