GitHub Repo
ServingStudioを公開、シミュレーション・エージェントによる修正・GPU検証をつなぐ推論性能ワークベンチ
実測したGPUコア時間からサービスのボトルネックを予測し、エージェントが候補となる最適化を推論フレームワークに適用する。チームはコードとテストケースを公開したが、効果はモデルや負荷に左右され、一部の修正は上流でのレビュー待ちだ。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
GitHub Repo
AI 研究
Agentic-GERが音声区間を再確認、中国語の専門用語の誤り率を最大36.8%相対低減
エージェントに逐語録全体を読ませ、疑わしい区間を再文字起こしすることで、区間をまたぐ専門用語の不一致を修正する。公式実装は公開済みだが、最大の改善幅は特定のモデル構成に限られる。導入時は誤修正率と推論コストを見極める必要がある。
推論系統
Liquid AI、ビジョンモデル「DSpark」を公開 M5 Maxでデコード速度がベースラインの最大3.13倍
約2.8億パラメータのドラフトモデルがLFM2.5-VL-3Bに投機的デコーディングを追加。公開ウェイトとフレームワーク統合も提供された。公式テストは特定のハードウェアと設定に限られ、ビジョンエンコーディング、プリフィル、並行負荷が全体の効果を制約する。
GitHub Repo
Ultralytics 8.4.162、画像バッチのプリフェッチを導入し、読み込みとCUDA推論を並行化
新版ではバックグラウンドスレッドで次の画像バッチを事前に読み込み、GPUがデータを待つ時間を短縮する。公開ベンチマークは特定のYOLO26n構成を対象としており、リリース概要とマージ履歴の間には適用範囲の記述に食い違いが残る。
AI 研究
XiaomiがHySparse2を公開、100万トークンのプリフィル演算量を基準の約5分の1に
2段階のKV共有により、長い入力のプリフィルを早期に完了できるアーキテクチャ。5倍の差は演算量の分析に基づくもので、品質評価は最大256kまで。実際のサービスでのレイテンシは今後の検証が必要だ。
AI 研究
WISE、再帰型モデルのアテンション対象範囲を再利用し、アテンション処理で1.36倍の高速化を計測
すべての再帰ステップを維持しつつ、初期の探索で後続のアテンション計算の対象範囲を絞る手法。性能の数値はアテンションのワークロードのみを対象としており、4Kコンテキストでの品質低下と公開された再現用資料については、引き続き確認が必要だ。
推論系統
InferactがTPU推論用メガカーネルをオープンソース化、Kimi K3は低同時実行数で毎秒700トークン超のデコード
単一のPallas呼び出しで92層をつなぎ、層をまたぐ重みのプリフェッチでメモリ帯域幅の利用率を向上。公式の比較は特定のトポロジーと小規模バッチに限られ、投機的デコーディングの性能はドラフトトークンの受理率にも左右される。
GitHub Repo
OpenHands 1.23.0、macOS用ユニバーサルインストーラーへ移行、Intel環境のランタイム非互換を修正
新版ではIntelとApple Silicon向けのNode.js、uvを同梱し、起動時にアーキテクチャに応じて選択する。デスクトップ版は引き続き初期プレビュー段階にあり、エージェントの一連の処理とバックエンド設定は実環境での検証が必要だ。
GitHub Repo
TransformersがGGUF圧縮推論パスを追加、まずはApple Siliconに注力
新たな推論パスはggmlのMetalカーネルを再利用し、Transformersの処理フロー内で量子化重みを実行できるようにする。現時点ではmainブランチからのインストールが必要で、対応モデル、バッチ処理、カーネルの互換性には制限が残る。
推論系統
NVIDIA、B200のコンフィデンシャル推論テストを公表、特定のワークロードで96%超のスループットを維持
B200を8基使用してDeepSeek-R1を実行したテストでは、コンフィデンシャルコンピューティングによる1トークン当たりの平均レイテンシーの増加率は5%未満だった。この結果はメモリ転送、カーネルの時間計測、GPU間通信の調整に依存しており、実際のサービスのワークロードに即した再検証が必要だ。
推論系統
AMD、Kimi-K3の3エンジンでのテストを公開 再現にはワークロードとイメージのバージョン確認が必要
新たな記事では、MI350Xを8基使用した推論テストの手順を整理している。データは7月に収集されたものだ。指定コミットのREADMEと記事ではワークロードが異なり、エンジンごとの設定の違いも性能比較の制約となる。
AI 安全
LightLLMのNCCL制御チャネルにリモートコード実行の脆弱性が判明
脆弱性はプリフィル／デコード分離ノードのRPyCサービスに関係し、攻撃者が制御ポートに接続できることが悪用の条件となる。公開された再現結果では、悪用後もヘルスチェックは正常だった。アドバイザリには修正済みバージョンがまだ記載されていない。