Ollama 0.40.9がストリーミング音声合成に対応、Phonon初期版はApple Silicon限定

Ollamaは10月22日のバージョン0.40.9アップデートでPhononのテキスト読み上げに対応し、ローカルアプリがコマンドラインまたは/v1/audio/speechエンドポイント経由で、音声を生成しながら受信できるようになった。これにより、既存のチャットアプリに音声出力の経路を追加できる。また、このバージョンではモデルのインポートがGradiumの正式版チェックポイント形式に切り替わったため、旧プレビュー形式との互換性に注意が必要だ。リリースノート

デフォルトのphononは3,100万パラメーターの英語モデルで、defaultという名前の音声を含む。公式パッケージは現時点でApple SiliconとOllama 0.40.9以降を必要とする。さらに、英語・フランス語・ドイツ語・スペイン語・ポルトガル語に対応する4,000万パラメーターのモデルと、多言語版も用意されている。多言語版が対応する5言語に中国語は含まれない。ライセンスも個別に確認が必要だ。デフォルトの英語モデルはApache 2.0、4,000万パラメーターのシリーズは商用利用を制限するCC BY-NC 4.0を採用している。モデルの説明

統合方法として、開発者はチャットモデルのテキスト出力パイプラインをollama run phononに接続するか、互換性のあるSDKから音声エンドポイントを呼び出せる。出力は24 kHz、モノラル、16ビットのWAVまたは生のPCMに対応する。APIが一度に受け付けるのは最大4,096文字で、コマンドラインは長文を段落や文ごとに分割する。WAVストリーミングでは全体の長さが確定する前にヘッダーが送信され、長さのフィールドには最大値が使われる。受信側は、プレーヤーやファイル処理のフローがこの形式を扱えるか確認する必要がある。音声ドキュメント

インターフェース設計の観点では、今回のアップデートによりローカルチャットシステムと音声サービスの統合作業を減らせる。ただし、使いやすさはテキストの分割、音声バッファリング、再生スケジューリングにも左右される。公式ドキュメントには、数字・日付・略語は自動で読み上げ用の表現に展開されないことや、未対応の速度・形式・リクエストオプションを指定すると400エラーが返ることも明記されている。開発チームは、最初の音声が届くまでの遅延、長文の続きの処理、再生キャンセル時の動作を実測する必要がある。中国語への対応と他のハードウェアプラットフォームへの対応は、引き続き確認が必要だ。現時点の公開情報だけでは、ハードウェアをまたいだ性能を結論づけられない。インターフェースの制限