ホームへ戻る

GitHub Repo

Ollamaのプレビュー版、Vulkan内蔵GPUの読み込み方式を修正し、共有メモリ割り当て失敗のリスクを低減

Ollamaは11月10日に修正をマージし、Vulkan統合GPUでモデルの読み込みにmmapを使うよう変更しました。この変更はv0.40.17-rc0に含まれています。共有メモリの重複使用による読み込み失敗を対象としていますが、実機での互換性は今後の検証が必要です。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollamaは11月10日、Vulkan統合GPUでのモデル読み込みに関する修正をマージし、同日夜に公開したv0.40.17-rc0プレビュー版に含めました。この更新はモデル起動時のメモリ割り当ての問題に対処するもので、AMDやIntelの内蔵GPUでローカルモデルを実行する開発者に直接関係します。プレビュー版のリリースノート

メンテナーによると、mmapを使わない読み込み方式では、CPU側に残るテンソルがVulkanのホストバッファに格納されます。このバッファはモデルの重みとデバイスメモリの予算を共有します。システムメモリを共有する内蔵GPUでは、使用量がほぼ倍増し、ページロックメモリの割り当て失敗や、Windows上のAMD環境での例外コード発生につながる可能性があります。ダイレクトI/Oを使ってもこのバッファは回避できないため、Vulkanには独立した読み込み方式が必要です。メンテナーの説明

コードは、統合GPUとして識別されたVulkanデバイスに対し、下位のllama-serverへ--load-mode mmapを渡すようになりました。Linux上の統合CUDAおよびROCmデバイスでは、引き続きダイレクトI/Oを使用します。追加されたテストでは、ディスクリートVulkan GPUにはこのルールが適用されず、内蔵GPUの経路ではユーザー設定で無効にしていてもmmapが優先されることを明示的に確認しています。修正差分とテスト

関連する過去の報告では、同じハードウェアとモデルでも、アップグレード後にRadeon 780Mで大きなモデルを起動できなくなる一方、小さなモデルは引き続き正常に動作することが示されています。このことから、読み込み失敗はモデルファイルのサイズやシステムの空きRAMだけでは判断できず、バックエンドの割り当て方式も利用可能な容量に影響します。この修正は現在、その報告に関連付けられ、報告はクローズされています。問題の記録

公式ドキュメントによると、VulkanはWindowsとLinuxに対応し、使用するGPUの指定やバックエンドの無効化に関する設定も提供されています。エンジニアリングチームがプレビュー版をテストする際は、モデル、コンテキスト長、ドライバーバージョンを固定し、読み込みの成否とメモリ使用量のピークを比較するとよいでしょう。現時点で公開されている証拠から、すべての内蔵GPUで問題が解消したとは結論できず、生成速度が全般的に向上したことを示すデータもありません。ハードウェア対応ドキュメント

出典

  1. Ollama v0.40.17-rc0 發布紀錄
  2. llm: use mmap for Vulkan integrated GPUs
  3. Vulkan 載入策略修補與測試差異
  4. AMD Radeon 780M Vulkan regression in Ollama >=0.32.10
  5. Hardware support