Ollama 0.34 RC、ローカルモデルをChatGPT Desktopに接続——ツール検索とレスポンス圧縮の互換性も強化

Ollamaは9月5日、0.34.0-rc1をリリースした。主な変更点は新しいモデルの追加ではなく、macOS版Ollamaアプリで設定を済ませると、新版ChatGPT DesktopからOllamaが管理するローカルモデルを直接選択できるようになったことだ。これにより、ChatGPTのChat、Work、Codexのデスクトップワークスペースと、ローカル推論バックエンドをより直接的に組み合わせられるようになる。モデルの重みと推論処理をユーザーのコンピューター内に保持でき、生成のたびにクラウドモデルのAPIを呼び出す必要がない。

この統合には、引き続きプロトコルレイヤーでの互換性が必要となる。今回のRCでは、OpenAI互換クライアント向けにツール検索とレスポンス圧縮のサポートも追加され、圧縮後のレスポンスにおける画像の受け渡しも修正された。長時間動作するエージェントでは、コンテキストが増大した際にレスポンス圧縮によって必要な状態を維持できる。しかし、ローカルサーバーがツール、画像、メッセージ識別情報を正しく再構築できなければ、エージェントが観測結果を失ったり、ツールを重複実行したりする可能性がある。新版ではApple Silicon上のStructured Outputsのパフォーマンスも改善された。これは通常のチャットよりも、JSON Schemaやツール引数の検証に依存するワークフローにとって重要な改善だ。

ただし、「ローカルモデル」を利用しても、ワークフロー全体がオフラインになるとは限らない。ChatGPT Desktopのクラウド同期、検索、外部ツール、アカウント機能がデータを送信するかどうかは、実際に使用するモードと権限によって異なる。エンジニアリングチームは、モデル推論、ツール呼び出し、会話の保存について、それぞれのデータ経路を個別に追跡すべきだ。公式リリースページでも0.34.0はプレリリース版とされており、現時点で明示されている設定導線はmacOSに限られている。

また、OpenAIの開発者コミュニティでは、Ollamaを有効にするとデスクトップアプリにローカルモデルしか表示されず、クラウドの選択肢を選べなくなったという報告が、1人のユーザーから寄せられている。これだけでは広範なリグレッションが発生しているとは断定できないものの、モデルの切り替え、ログアウト、復旧手順をテストすべき明確な理由にはなる。今後は、正式版がWindowsにも対応するか、接続と権限に関するドキュメントが公開されるか、さらにデスクトップアプリがローカル実行とクラウド実行を確実に切り替えられるかを注視する必要がある。