GitHub Repo

GitHub 熱門專案、開源工具、框架、runtime 與重要 release。

TransformersコミュニティがCPUネイティブGQA最適化を提案、局所テストでデコード速度が約2割向上

10月12〜13日のTransformers技術議論では、Attention Mask付きのCPU推論でネイティブGQAを直接使い、K/Vテンソルの複製を省く案が提示された。提案者のテストではデコード速度が1.21倍になった一方、別のマシンでは1.06倍にとどまり、提案はまだマージされていない。

2026-10-14

GitHub Repo

TransformersコミュニティがLLMDetの重み共有の不具合を報告、検出ボックスが物体からずれる可能性

10月12日のTransformersコミュニティの報告によると、MM Grounding DINOとLLMDetは読み込み時に設定を無視し、異なるデコーダー層の検出ヘッドを同じ重みに結び付ける可能性がある。報告には再現コードと座標の比較が含まれるが、メンテナーによる確認、正式な修正、完全な精度評価はまだない。

2026-10-13

GitHub Repo

TransformersコミュニティがGemmaのテンソル並列処理の不具合を報告、TensorとDTensorの混在で推論が中断する可能性

10月12〜13日のTransformers開発版に関する報告によると、Gemma 3および4のマルチモーダルクラスでは、テンソル並列処理時にテンソル型の不一致によって前向き計算を完了できない場合があります。最小再現コードが添付され、報告者は修正案も示していますが、正式リリースへの影響と修正の完全性は未確認です。

2026-10-09

GitHub Repo

vLLMコミュニティがMoE LoRAバックエンドの修正を提案、BlackwellではTritonを指定しても起動に失敗する可能性

10月12～13日のvLLMコミュニティからの報告によると、MoE LoRAのバックエンド選択で明示的な設定が無視され、全シャーディングモードで起動エラーが発生する可能性がある。修正案には設定チェックとユニットテストが追加されたが、まだマージされておらず、完全なGPU検証も行われていない。

2026-10-13

GitHub Repo

vLLMコミュニティ、NVFP4キャッシュのレイアウト上の問題を調査　インターリーブ保存でデータとスケール値が重なる可能性

10月12〜13日のvLLMコミュニティからの報告によると、特定のtoken-majorレイアウトではNVFP4 KVキャッシュの読み書き位置がずれる可能性があり、別の参加者はカーネルレベルでデータの重複を再現した。サポート範囲はメンテナーによる確認が必要で、すべての本番環境が影響を受けるとは断定できない。

2026-10-13

GitHub Repo

Ollamaのプレリリース版、llama.cppネイティブの決定推論に移行　旧GGUFモデルは再ダウンロードに注意

Ollamaは10月12日、決定モデルの推論経路の更新をマージし、v0.40.4-rc1に取り込みました。プロンプトの組み立てとスコアリングをllama.cppに委ねます。スコア仕様とモデルメタデータの要件も変更されるため、既存のデプロイではモデルファイルの互換性を確認する必要があります。

2026-10-13

GitHub Repo

Transformersコミュニティ、ZeRO-3で読み込み処理が重複する問題を報告　各プロセスが完全なチェックポイントを読み込み、変換する可能性

10月11日のTransformers開発版に関する報告によると、ZeRO-3を有効にしても各プロセスが完全なチェックポイントを重複して読み込む可能性があり、起動時のリソース負荷が増すという。報告には2デバイスでの最小再現例と部分的な修正結果が含まれるが、正式な修正や包括的なメモリ計測はまだない。

2026-10-11

GitHub Repo

TransformersコミュニティがT5のAttention修正を提案、テンソル配置でSDPAが低速カーネルにフォールバックする可能性

10月12日のTransformersコミュニティの報告によると、T5系列の位置バイアス・テンソルがSDPAによる融合カーネルの使用を妨げ、埋め込み処理の性能低下を招く可能性がある。修正案にはAMDとNVIDIAでのテスト結果が添えられているが、まだマージされておらず、改善幅は実際のワークロードで検証する必要がある。

2026-10-13

GitHub Repo

Ollamaコミュニティが報告したプロンプトスループットの計算差異、キャッシュヒットで性能値が過大になる可能性

10月11日のOllamaコミュニティ報告によると、OpenAI互換エンドポイントでは、キャッシュされた分を含むプロンプト総量を未キャッシュ部分の処理時間で割り、プロンプトスループットが過大に表示される可能性があります。事例にはストリーミング応答と再現手順が示されていますが、修正状況やバージョンをまたぐ影響は未確認です。

2026-09-23

GitHub Repo

Transformersコミュニティ、パッキング学習の境界処理の欠落を調査　線形Attentionのフォールバック経路で前の文書が混入する可能性

10月12〜13日のTransformers技術討議では、高速化カーネルがない場合、線形Attentionと畳み込みのフォールバック実装が文書境界を無視し、パッキングしたサンプルの計算結果を変える可能性が指摘された。コミュニティからは系列を分離する案とエラーを返す案が出ているが、いずれもまだマージされていない。

2026-10-13