SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

GitHub Repo

TransformersコミュニティがSAM 3のプロンプト構造の差異を報告、テキストのみの経路で幾何学的CLSトークンが欠落する可能性

10月14日のTransformersコミュニティの報告によると、SAM 3はテキストのみのプロンプトを処理する際に幾何エンコーダーをスキップし、入力構造がMetaの参照実装と異なる可能性があります。参加者は独立した再現を報告し、修正案も提出しましたが、メンテナーはまだ確認しておらず、セグメンテーション精度への影響は未測定です。
GitHub Repo

Transformersコミュニティがトークナイザーの正規化設定の消失を報告、WeMMの入力に改行トークンが追加される可能性

10月13日のTransformersの報告によると、新しいトークナイザー読み込み経路でモデル既存の正規化設定が無視され、WeMM-Embedding-2Bの入力に末尾の改行トークンが追加される可能性がある。報告にはバージョン間の最小再現例が添えられているが、メンテナーによる確認や検索品質の測定はまだない。
最新模型

Liquid AI、LFM2.5-24B-A2Bを発表　長文コンテキストとローカルエージェントのツール機能を拡張

Liquid AIは10月13日、LFM2.5-24B-A2Bとベースモデルの重みを公開しました。コンテキスト長を131,072 tokensに拡張し、推論してから回答する方式を固定しています。ローカルでのデコード速度とエージェント評価の結果が公表されましたが、導入者はタスク全体のレイテンシ、ツール解析、量子化後の品質を検証する必要があります。
GitHub Repo

Difyコミュニティが構造化出力の修正を提案、推論ブロック内のJSONが正式な回答として誤選択される可能性

10月13日のDifyコミュニティからの報告によると、正式な回答が設定された形式に合致していても、LLMノードが推論ブロック内のJSONを構造化出力として扱う場合がある。修正案にはストリーミングと非ストリーミングの回帰テストが含まれるが、まだマージされておらず、完全なJSON Schema検証にも対応していない。
GitHub Repo

TransformersコミュニティがGemmaのテンソル並列処理の不具合を報告、TensorとDTensorの混在で推論が中断する可能性

10月12〜13日のTransformers開発版に関する報告によると、Gemma 3および4のマルチモーダルクラスでは、テンソル並列処理時にテンソル型の不一致によって前向き計算を完了できない場合があります。最小再現コードが添付され、報告者は修正案も示していますが、正式リリースへの影響と修正の完全性は未確認です。
GitHub Repo

vLLMコミュニティ、NVFP4キャッシュのレイアウト上の問題を調査　インターリーブ保存でデータとスケール値が重なる可能性

10月12〜13日のvLLMコミュニティからの報告によると、特定のtoken-majorレイアウトではNVFP4 KVキャッシュの読み書き位置がずれる可能性があり、別の参加者はカーネルレベルでデータの重複を再現した。サポート範囲はメンテナーによる確認が必要で、すべての本番環境が影響を受けるとは断定できない。
GitHub Repo

Ollamaのプレリリース版、llama.cppネイティブの決定推論に移行　旧GGUFモデルは再ダウンロードに注意

Ollamaは10月12日、決定モデルの推論経路の更新をマージし、v0.40.4-rc1に取り込みました。プロンプトの組み立てとスコアリングをllama.cppに委ねます。スコア仕様とモデルメタデータの要件も変更されるため、既存のデプロイではモデルファイルの互換性を確認する必要があります。
GitHub Repo

Ollamaのプレリリース版、検証済みモデルを再利用　埋め込みのウォームリクエストで遅延が4割超低下

Ollamaは10月12日にモデル検索の最適化をマージし、v0.40.4-rc0に取り込みました。同じモデルへの後続リクエストで重複処理を減らします。メンテナーのテストでは、2種類の埋め込みモデルでウォームリクエストの遅延が41〜56%低下しましたが、実際のデプロイ環境での検証が必要です。
GitHub Repo

Hermes Agentコミュニティ、リセット後のタスク通知漏れを調査　バックグラウンドプロセスの中断が既読扱いになる可能性

10月12日のHermes Agentコミュニティの報告によると、セッションのリセットでバックグラウンドプロセスが終了しても、中断の状況がユーザーに伝わらない可能性がある。別の参加者は一部の実行テストを行い、通知漏れの原因としてクリーンアップフラグを指摘したが、Telegramの全フローでの検証と正式な修正は未確認だ。
GitHub Repo

PyTorchコミュニティが融合処理の修正を提案、量子化LLMの単一トークンデコードが大きな中間バッファーで遅くなる可能性

10月10日のPyTorchコミュニティの報告によると、特定の演算子の組み合わせでは、Inductorが行列積の全要素をメモリに書き込み、量子化LLMの単一トークンデコードのコストを押し上げる可能性がある。事例は安定版と開発版の両方で確認され、修正案には限定的なテストと計測結果が添えられているが、まだ未マージのドラフトだ。
GitHub Repo

Difyコミュニティ、エージェントの履歴再生におけるキャッシュの問題を報告　ランダムなツール呼び出しIDが推論コストを押し上げる可能性

10月9日のDifyコミュニティからの報告によると、エージェントが会話履歴を再構築する際にツール呼び出しIDが再生成され、モデルサービスのプロンプトキャッシュ再利用が損なわれる可能性がある。報告ではIDを安定させる修正案が示されたが、実際のコストへの影響と正式な修正状況は未確認だ。