AI 研究
AISI、推論計算量の評価をEvaluation Cardsに統合、レポート間の比較に向け設定を公開
AISIとEvalEvalは、既存研究の結果と設定を共通形式で整理した。対象は主実験の5つのベンチマークと関連するサイバーセキュリティ評価。予算やフィードバック条件の確認に役立つが、形式の検証は独立した再現実験を意味しない。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 研究
GitHub Repo
vLLMで外部KVキャッシュの読み込み失敗によりエンジンが終了するとの報告、影響範囲は未確認
ハイブリッドアテンションモデルを使った開発版で、単一リクエストの失敗後にスケジューラでも致命的なアサーションエラーが発生したと報告された。公式の失敗処理ポリシーでは影響をリクエスト単位にとどめる想定だが、現時点で公開された修正や複数環境での検証結果はない。
最新模型
Claude Opus 5.5がトークン単価を引き下げ、エージェントAPIに複数の非互換変更
新版では入力、出力、キャッシュ読み取りの料金が下がり、適応型思考が常時有効になる。ツール呼び出しの強制、過去のメッセージの変更、ストリーミングでの進捗表示はいずれも再検証が必要だ。
GitHub Repo
vLLM、Qwen3.8-2.4Tの分離型推論テストを公開、GPU当たりの総スループットは毎秒約5,000トークン
チームはGB300 NVL72でプレフィルとデコードを分離した構成を測定し、バージョン情報と設定リポジトリも公開した。最大スループットと1ユーザー当たり毎秒約180トークンの生成速度は異なる構成で得られたもので、実際の負荷に応じた検証が必要だ。
GitHub Repo
Transformersがggml量子化カーネルを統合、Apple Siliconで圧縮GGUFを直接実行可能に
Hugging FaceがメインブランチでのGGUF推論統合を発表。圧縮された重みを使いながら、PythonとPyTorchのワークフローを継続できる。初期の対応はApple SiliconとQwen3.5アーキテクチャが中心で、速度測定結果には比較条件の違いもある。
AI 研究
共有推論のコスト研究がH100での検証結果を公開、計測方法でテナントの負担割合が変化
unallocはクラスターとモデルの請求データを統合する。研究では、計測方法によって同じテナントの費用負担割合に約12–14パーセントポイントの差が生じた。実機検証は各ワークロードにつき短時間のテストを1回実施しただけで、結果を正しい配賦割合についての確定的な結論とみなすことはできない。
推論系統
NVIDIA、マルチGPUでの動画推論テストを公開、GPU 8基で生成遅延を約34秒に短縮
NVIDIAはDynamo-TritonとTensorRTを用いてCosmos 3 Nanoを実行し、GPU 8基で生成遅延を単一GPUの156.6秒から34.2秒に短縮した。テストでは同時実行時のスループットと動画1本当たりのコストは評価しておらず、品質検証も抽出したフレームに限られる。
硬體
Googlebookの予約注文が開始、エージェント開発ツールと隔離されたLinux環境を統合
GoogleはAntigravity、Linuxターミナル、オンデバイスAI向けハードウェアを新たなノートPCプラットフォームに組み込む。プロセッサーが異なる機種間でのpKVMの保護モードや、Linux内からのNPUへのアクセス方法については、引き続き製品ドキュメントと実機での検証が必要だ。
GitHub Repo
vLLMコミュニティがRDNA向けのタイリング調整を提案、W7900の埋め込み処理スループットが実測で約17～19%向上
コミュニティのテストでは、アテンションカーネルのキーバリューブロックを小さくすることで、AMD製GPU上の埋め込みサービスの性能が向上した。変更はまだ提案段階であり、カーネルの高速化倍率、全体のスループット、検索品質はそれぞれ評価する必要がある。
GitHub Repo
Ultralytics 8.4.157がCUDA Graphリプレイを導入、YOLO26nのFP16テストでレイテンシーが約20%短縮
新版は実画像によるキャリブレーションとCUDA Graphのリプレイで推論のオーバーヘッドを削減。効果は演算精度とバッチサイズによって異なり、リリースノートに記載されたSiLUの書き換えは最終レビューで撤回された。
GitHub Repo
tokenizers v1がCPUエンコード経路を刷新、リリース候補版にはPython機能の不足が残る
Hugging FaceがRustのベンチマークを公開。M4 Maxの単一スレッド実行で、エンコード速度はv0.23の3～30倍となった。効果はモデルやコーパスによって異なり、既存のPythonワークフローでは機能面の互換性を確認する必要がある。
最新模型
Grok 4.7、長時間のプログラミングタスクへの対応を強化 APIが暗号化された推論状態を自動返却
新版では長時間タスクの訓練を増やし、Responses APIがターンをまたぐ推論状態を自動的に引き継げるようにした。公式評価では推論レベルが異なる条件で比較されており、APIとCursorの長文コンテキスト料金の適用基準も、それぞれ確認する必要がある。