Ollama 0.40.13、LFM3対応をLinuxとWindowsに拡大　音声生成モデルも対象に

Ollamaは10月28日、Liquid AIのLFM3シリーズの対応をLinuxとWindowsに拡大し、lfm3-audioとlfm3-omniの音声合成機能も明示的にサポートするバージョン0.40.13をリリースしました。これはモデル公開後のデプロイ面での進展です。従来Apple siliconで利用できた実行環境が、新たに2つのOSにも広がりました。公式リリースノート

LFM3-Audio-2Bはテキストまたは音声を入力として受け取り、テキスト、音声、または両者を交互に出力できます。因果音声エンコーダーとLiquidCodec音声トークナイザーを組み合わせており、仕様には16 kHzの音声入力、24 kHzの音声出力、増分prefill、ストリーミング音声生成が記載されています。対応言語には中国語が含まれ、音声によるリクエストをツール呼び出しに変換する機能もあります。Audioモデルの説明

LFM3-Omni-2Bは視覚機能も統合しており、約21億7,000万パラメーターを持ちます。テキスト、画像、動画、音声を理解し、テキストまたは音声で回答できます。公式が掲げる目標は、従来は音声認識、視覚言語モデル、言語モデル、音声合成が個別に担っていた処理を、単一モデルで実行することです。動画は毎秒2フレームでサンプリングされるため、素早い動きや一瞬の出来事を評価する際は、このサンプリング上の制約に注意が必要です。Omniモデルの説明

エンジニアリングチームにとって今回の更新の価値は、ローカルで動作するマルチモーダルアプリケーションのテスト環境が広がる点にあります。これらの機能を使い、LinuxワークステーションやWindows PCで音声アシスタント、音声・動画を使った質疑応答、デバイス制御のプロトタイプを構築して評価できます。複数モデルを連携させる保守コストを削減できるかどうかは、実際のタスクで検証する必要があり、対応の発表だけから判断することはできません。

デプロイ前に確認すべき制約が2つあります。AudioとOmniの説明表にはどちらも32Kのコンテキスト長が記載されていますが、Ollamaのページ上部のラベルは125Kを示しており、情報に食い違いがあります。容量計画では、大きい方の数値をそのまま採用しないでください。また、Omniはthinkingに明示的に対応しておらず、Audioも複雑な多段階推論には推奨されていません。リリースノートにはハードウェア互換性一覧やレイテンシーの数値がないため、対象マシンでのメモリ使用量、最初の音声出力までの遅延、中国語出力の品質を測定する必要があります。Audioの仕様、Omniの仕様