OllamaコミュニティがLFM2の出力で文字抜けを報告、特定のPython文字列が黙って消える可能性

10月4日、Ollamaコミュニティから、lfm2:24bの出力完全性に関する報告が寄せられた。小文字のpythonが特定の位置で消える一方、先頭に空白を付けた形式は正常に表示されるという。報告環境はWindows 11、Ollama 0.35.1、Radeon RX 9070 XTで、モデルはGPU上だけで実行された。この報告だけから、ほかのプラットフォームにも影響すると推定することはできない。問題報告

最小再現ケースでは、/api/generateを使い、JSONの断片を繰り返してモデルに続きを生成させている。温度は0、ストリーミングは無効、raw:trueに設定した。報告者が期待したのはpythonを含む言語フィールドだったが、実際の応答はその後の引用符から始まり、空文字列が残った。公式ドキュメントによると、rawモードではプロンプトテンプレートが適用されない。そのため、このケースはテンプレート以外の処理経路を調べる手がかりにはなるが、どの層で文字列が失われたかを直接証明するものではない。APIドキュメント

公式モデルライブラリに掲載されているモデル識別子d6c816d74887は報告内容と一致し、約14GBのQ4_K_M量子化モデルとしてパッケージ化されている。これにより、同じ名前のモデル同士を比較するだけでなく、同一の成果物に対象を絞った後続テストが可能になる。モデルライブラリでは、ローカル展開に適したハイブリッドアーキテクチャのモデルとして紹介されている。モデル情報

技術面で注目すべきなのは、文字が抜けても、解析可能なJSONが残る場合があることだ。この事例から推測すると、形式だけを検証するアプリケーションは、内容が変わった結果を受け入れてしまう可能性があり、言語ラベル、コードの説明、文書インデックスに影響するおそれがある。エンジニアは固定文字列やフィールド値を照合し、大文字・小文字、先頭の空白、句読点に隣接する場合をそれぞれテストできる。これらは検証の方向性であり、一般的な修正策として実証されたものではない。

確認時点で議題は未解決のままで、関連する修正も記載されていない。報告者は語彙マッピングまたはデコード処理を疑っているが、ページには内部トークンを特定するのに十分な証拠がない。次の段階では、上流でCPUや別のGPUでも再現するかを確認し、同じ重みを異なるランタイムで比較したうえで、修正後のテキスト完全性を回帰テストで確かめる必要がある。議題の状況