Ollamaコミュニティ、rnj-1の読み込み失敗を調査　スライディングウィンドウ注意機構のメタデータがアサーションを引き起こす可能性

Ollamaコミュニティは10月10日、rnj-1の読み込み失敗に関する報告を受けました。協力者は11日に技術的な分析を補足し、モデルファイルにはスライディングウィンドウ注意機構（SWA）関連の設定が宣言されている一方、実際にはSWAを使う層がないため、新しい下位ランタイムがアサーションを発生させると説明しました。その結果、モデルは回答を生成する前に異常終了します。公開された報告と協力者の分析

この事例では、Linux、Intel CPU、Ollama 0.40.0が使われました。ログによると、リクエストがllama-serverに渡された後、モデルのメモリ初期化処理で GGML_ASSERT(hparams.is_swa_any()) failed が発生し、続いてプロセスが終了、/api/generate はHTTP 500を返しました。報告者はモデルを削除して再ダウンロードしても解決しなかったと述べています。協力者によると、この問題は0.34.4から発生しており、llama.cppのアップグレードに関連する可能性があります。このアップグレードは9月22日にマージされており、直近2日間の進展は障害報告と原因分析です。下位依存関係のバージョン更新記録

協力者の説明では、旧ロジックはすべてゼロのSWA層リストを破棄していましたが、新しいロジックではリストを保持し、SWA層が見つからない場合にエラーを出します。rnj-1のファイルにはウィンドウ設定と、すべてがfalseの層モードが併存しており、まさにこの条件に当てはまります。Unslothのモデルカードにも、rnj-1のアーキテクチャはGemma 3に近いものの、グローバル注意機構のみを採用し、YaRNでコンテキストを拡張すると記載されています。これは報告された層設定と一致します。モデルアーキテクチャの説明

現時点で協力者が提示している代替手段は、SWA設定を宣言していないUnsloth GGUFを使うことです。このファイルは正常に読み込めるとのことです。Hugging Faceのページには、ollama run hf.co/unsloth/rnj-1-instruct-GGUF:UD-Q4_K_XL という実行方法が記載されています。ただし、量子化ファイルを差し替えた後は、出力と性能を改めて検証する必要があります。元のモデルに対する同等の修正とみなすことはできません。代替モデルと使用方法

ローカル推論サービスを運用するエンジニアリングチームにとって、この事例はアップグレード検証に既存GGUFのメタデータ互換性だけでなく、実際の読み込みと生成の流れも含める必要があることを示しています。確認時点で議題は未解決のままで、正式な修正はまだ提供されていません。今後は、上流で全ゼロのSWAリストの処理が変更されるか、また類似のファイルにも影響が及ぶかに注目する必要があります。