AI 安全
llama.cpp b11000、無効な計算グラフを消去し、認証不要のRPCリモートコード実行脆弱性を修正
llama.cppのRPCサーバーは、解放済みバッファを指し続けるキャッシュ済み計算グラフを再実行していたため、リモートクライアントが読み書き能力を獲得し、コードを実行できる可能性があった。b11000ではバッファ解放時に関連するグラフ状態を破棄するが、RPC自体を信頼できないネットワークへ直接公開することは依然として推奨されない。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 安全
推論系統
Chord、Kimi K2.x向けにINT4 MoEカーネルを再設計、推論フェーズに応じてGPUスケジューリングを選択
Novita AIとvLLMは、H200、B200、B300上のKimi K2.xのサービング形状に合わせてチューニングしたW4A16 CUDA演算子「Chord」をオープンソース化した。公開ベンチマークではHumming比で最大2.15倍を記録したが、数値はMoE層のカーネルのみを対象としており、エンドツーエンドのスループット向上にそのまま換算することはできない。
硬體
OpenVINO 2026.4、マルチトークン・ドラフトデコーディングをCPU／GPUに導入し、NPUの性能トレースを統合
OpenVINO 2026.4は、Gemma 4、Qwen3.5、Qwen3.6向けにMulti-Token Predictionによる投機的デコーディングを追加したほか、VTuneによるCPU、GPU、NPUを横断した推論分析を可能にした。ローカルモデルの対応範囲は拡大したものの、NPUの動的形状やモデルのアンロードなど複数の機能は依然としてプレビュー段階で、公式による統一的な公開高速化データも示されていない。
代理工具
Stellar Colosseum、依存関係グラフと反証ループで長期的な数学エージェントを管理
Google ResearchとCMUのチームは、戦略探索、証明の分解、局所的な修正、グローバル検証をマルチエージェント・ワークフローとして構成した。モデル横断の選択によりTCS-Benchで71%を達成したが、主要なharnessはまだ完全には公開されておらず、自動評価と多大な推論予算が比較可能性を制限している。
AI 基礎設施
NVLink 6、リンク再試行・障害分離・推論ホットスタンバイを単一の復旧スタックに統合
NVIDIAは、物理層でのビットエラー訂正からNMX Controller、Dynamoの推論プロセスに至るまで、NVLink 6の多層フォールトトレランス設計を公開した。社内のB200テストでは、障害発生後に2 worker構成のサービスを復旧する時間を283秒から7.3秒へ短縮したが、チェックポイントツールやNCCLのエッジケースへの対応は今なお進行中だ。
最新模型
Firefox Smart WindowがMistral Small 4に対応、ブラウザーが切り替え可能なモデルでタブのコンテキストを処理へ
Mozillaは米国とカナダのSmart Windowベータ版にMistral Small 4を追加し、フランス語版をフランスにも拡大した一方、ほかのモデルも引き続き選択可能としている。119BパラメーターのMoEモデルは長いコンテキストと推論モードに対応するが、ゼロデータ保持はローカル推論を意味せず、タブ内容が送信される範囲については引き続き実地検証が必要だ。
代理工具
GitHub、エージェントを活用してCopilotランタイムを83万行のRustに書き換え、クライアントごとのNode.jsコストを排除
Copilotの共有エージェントランタイムがTypeScript／Node.jsからネイティブRustへ移行し、C ABIを介して6言語のSDKに直接組み込めるようになった。GitHubの負荷テストではセッションスループットが毎秒120件に向上したが、この数値はモデル推論とネットワーク遅延を除外した社内テストに基づく。
最新模型
LimiX‑2、共同メカニズムのモデリングで表形式データを処理――単一の4億パラメータモデルで3種類のタスクに対応
LimiX‑2は条件付きラベルの推定にとどまらず、合成因果データから特徴量とターゲットの同時構造を学習する。チームは重みと推論コードを公開したが、モデルの利用は非商用に限定され、優位性を示す数値も主に著者らが実施した表形式データ向けベンチマークに基づく。
代理工具
Foundry Toolkit 1.6.13、ACR以外のプライベートイメージレジストリに対応し、Windows MLランタイムを変更
新版のVS Codeツールでは、接続設定済みのプライベートコンテナレジストリからマネージドエージェントをデプロイできるようになったほか、AMD NPU向けFara 7BとAionの量子化adapterも追加された。Windows MLは`windowsml` 2.3へ更新され、既存プロジェクトではexecution providersと依存パッケージの確認が必要となる。
AI 基礎設施
FlashVector、性能最適化エージェントの対象をGPUカーネルから推薦モデルのサービススタック全体へ拡大
Unityチームが発表したFlashVectorは、GPUカーネル、計算グラフ、Tritonサーバー、特徴量サービスを横断して性能ボトルネックを探索する。実運用環境のテストではスループットが最大2倍に向上したが、コード、変更履歴、完全なコストデータはまだ公開されていない。
推論系統
JustFit、KV状態を圧縮・リアルタイム調整し、24 GiBのMacBookで21万tokenのワークロードを完遂
JustFitはMLX上で4-bit KV、コンポーネントの常駐管理、リクエスト間の状態遷移を組み合わせ、24 GiBのユニファイドメモリで27Bモデルの長文コンテキスト推論を実現した。6.93倍という容量向上は、単一マシン上で特定モデルを用いたテスト結果であり、一部の過去の実行環境とチェックポイントの同一性はまだ完全には再現できない。
推論系統
MLPerf Inference 6.1、エンドツーエンドRAGとエッジエージェントのテストを追加――ベンチマークは推論パイプライン全体を評価対象に
MLCommonsは単一モデルのみの測定から脱却し、検索、リランキング、生成、複数ターンのエージェント処理をInference 6.1に組み込んだ。新版ではAPIベースのclient/server harnessも導入され、データセンター向け評価が本番サービスに近いEndpointsスイートへ移行する方向性を示している。