Ollama 0.40.7候補版、PPLX Decider v1.2のMLX推論をサポート

Ollamaが10月18日に公開した0.40.7-rc0では、PerplexityのPPLX Decider v1.2がMLX実行バックエンドに追加されました。この更新により、ローカル環境で専用の意思決定モデルを実行する新たな選択肢が加わり、分類、ルーティング、スコアリングなどのタスクを評価できます。確認時点でGitHubでは依然としてプレリリースと表示されており、安定版として全面公開されたものではありません。リリース記録

技術的な要点は、モデルの実行時の意味論にあります。マージ済みの実装には、非因果的注意機構、モデル提供元が定義する決定読み出し、画像処理、System Oneのプロンプトエンコーディングが含まれます。モデルの決定用重みを正しく使うには、これらの要素を連携させる必要があります。バックボーンを読み込んで一般的なテキスト生成の手順を適用するだけでは、モデルの挙動を再現できません。マージ済みの提案

公式モデルカードによると、v1.2では共有状態と複数の質問を同じシーケンスに配置し、各質問の選択肢の後にあるマーカー位置で結果を読み出します。全注意層はリクエスト全体を参照できますが、線形注意層は因果的な挙動を維持します。そのため、同じデータに対する複数の判定で計算を共有できる一方、質問同士が互いに影響することもあります。公式テストでは、関連する質問をまとめると一部のタスクで効果がある一方、競合するツール候補を一緒にスコアリングすると精度が低下する場合が示されています。公式モデルカード

Ollamaのモデルページには/v1/systemoneの呼び出し例が掲載されています。モデル一覧にはBF16、MXFP8、NVFP4のMLX版もあり、ファイルサイズはそれぞれ約52GB、29GB、19GBです。これらの数値はダウンロードサイズを示すにすぎません。デプロイ時には実行時メモリも確保する必要があり、必要なハードウェアの最小容量としてそのまま扱うことはできません。モデルインターフェース、モデルタグ

エンジニアリングチームは次に、固定したリクエストを使い、参照実装とMLXバックエンドで選択肢の確率、順位、レイテンシを比較し、単一質問と複数質問の形式をそれぞれテストするとよいでしょう。今回のリリース情報には、MLXの性能や量子化後の精度を比較したデータがありません。そのため、これを根拠に高速化の度合いを推定することはできません。エージェントのルーティングに使う場合は、確率の変化によって既存の意思決定しきい値が機能しなくならないか、事前に確認してください。