ホームへ戻る

GitHub Repo

llama.cpp 1.0をリリース、API互換性を明確化し旧インターフェースを削除

llama.cppは11月13日にv1.0.0をリリースし、ggmlとともにメジャーバージョンでAPI・ABIの非互換変更を示す方針を明確にした。新バージョンではFP8 KVキャッシュとメインメモリ上のMoEエキスパートキャッシュも追加された。下流の統合では、削除されたインターフェースを事前に確認する必要がある。

The GGML authors · Public domain · Image source
zh-Hant

llama.cppチームは11月13日、v1.0.0をリリースした。コアテンソルライブラリのggmlも同時に1.0へ移行した。ローカル推論をデスクトップアプリ、サービス、言語バインディングに組み込む開発者にとって、最も重要な変更は互換性に関する方針だ。今後、APIおよびABIの非互換変更はメジャーバージョンに反映され、下流の開発者がアップグレード時の境界を把握しやすくなる。公式発表

発表では、公開されているincludeディレクトリ内のC APIをバージョン管理の基準としている。破壊的変更ではメジャーバージョンを上げ、後方互換性のある機能、バックエンド、モデルのサポート追加ではマイナーバージョンを上げ、API変更を伴わないバグ修正ではパッチバージョンを上げる。この方針により、パッケージメンテナーは依存関係の更新をより根拠をもって計画できる。ただし、すべての内部インターフェースにも同じ保証が適用されるとは限らない。バージョニング方針

今回のアップグレードには、すでに移行作業が伴う。リリースノートでは、llama_set_warmup、35個の非推奨関数、defrag_tholdフィールドとコマンドラインオプションの削除が挙げられている。NextN/投機的デコードのインターフェースは拡張ヘッダーから公開のllama.hに移され、そのうち1つの関数名も変更された。ライブラリに直接リンクしているプロジェクトや、独自にバインディングを保守しているプロジェクトは、ヘッダーと呼び出し箇所を確認してから再コンパイルし、動作を検証する必要がある。リリースノート

メモリ管理にも実質的な更新がある。OCP FP8 KVキャッシュが追加され、-ctk/-ctv f8_e4m3で選択できるほか、静的なテンソル単位のスケーリングに対応した。MoEエキスパートキャッシュはメインメモリに配置され、設定可能なCPUオフロード比率と置換戦略を備える。前者は長いコンテキストで容量と品質をテストし、後者はキャッシュヒット率とCPU・GPU間の処理分担を確認するとよい。機能名だけから高速化の度合いを推定することはできない。技術的な変更

デプロイチームは次に、バージョンの固定、バインディングの再ビルド、固定したワークロードによる回帰テストをアップグレード手順に組み込むべきだ。公式情報では、さまざまなハードウェアやモデルに共通する性能向上幅は示されていない。1.0の主な価値は、急速に進化する推論基盤の互換性をより明確に把握できることにある。実際のレイテンシ、メモリ使用量、出力品質は、それぞれ個別に測定する必要がある。

出典

  1. llama.cpp v1.0.0: A stronger foundation for the local AI ecosystem
  2. Release v1.0.0 · ggml-org/llama.cpp