Ollamaのプレリリース版、llama.cppネイティブの決定推論に移行　旧GGUFモデルは再ダウンロードに注意

Ollamaは10月12日、PR #18917をマージし、内包するllama.cppをb11521に更新しました。この変更は同日公開されたv0.40.4-rc1に含まれています。主な変更点は、GGUF決定モデルへの/v1/systemoneリクエストをllama.cppに直接処理させ、モデルプロンプトも同エンジンで組み立てることです。これに伴い、Ollamaが独自に保守していたスコアリング実装とClef向けのパッチが削除されます。これは推論処理の分担を変更するもので、公開資料には性能向上を示すデータはまだありません。リリースノート、マージされたPR

決定モデルは、共有状態を分類、真偽の確率、基準に基づくスコアに変換する用途に適しています。たとえば、エンジニアリングチームはチケットをstateに入れ、問題のカテゴリと緊急度を同時に尋ねられます。公式ドキュメントでは、3種類の質問形式を紹介しています。choiceは選択肢と確率を返し、noulは命題が真である確率を返し、scoreは各レベルの確率に基づいて加重スコアを算出します。こうしたインターフェースはワークフローの振り分けに利用できますが、信頼度が高くても回答が正しいとは限らないと、ドキュメントは明確に注意しています。決定モデルのガイド

新しい経路では、1つのリクエスト内の質問が並列に実行されます。Clef、Laya、LFM2-D1-Omniは完全なプロンプトを1つのバッチとして読み込むため、スケジューラーはコンテキスト設定に応じてバッチサイズを決めます。また、すべてのモデルでscoreの等級数が2〜10に統一され、空の状態は拒否されます。デプロイの観点では、更新前後で同じ入力を使ってスコア、レイテンシ、メモリ使用量を比較し、エンジンの切り替えが実際のワークロードに与える影響を確認する必要があります。技術変更の説明

今回の更新で最も直接的に注意すべきなのは互換性です。決定GGUFではCAPABILITY decisionを手動で宣言する必要がなくなりますが、llama.cppの決定モデル用メタデータを含まない古いファイルは、再ダウンロードを求めるエラーになります。メンテナーによると、更新済みモデルは別途公開され、0.40.4が必要であることが明記されます。コードのマージをもって、すべてのモデルファイルの更新が完了したと判断しないでください。移行に関する説明

現時点のバージョンはまだプレリリースです。System One APIは単一のJSONを返し、ストリーミングやツール呼び出しには対応していません。また、入力全体がコンテキスト制限内に収まる必要があります。今後は、正式版の公開、モデルファイルの提供状況、バージョンをまたいだ決定結果の回帰テストを追う必要があります。APIドキュメント