Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
DeepSeek Harnessの新版では、メインエージェントが認可された範囲内で、サブエージェントのプロバイダー、モデル、推論強度、最大出力長を選択できるようになった。さらに、ACPのセッション、MCP、権限、キャンセルの各インターフェースも完成した。ネットワークおよび外部モデルとの統合も拡大したが、公式はサンドボックスと承認機構を安全な分離手段と見なすことはまだできないと明確に警告している。
代理工具
Hillockは、事実トリプル、Hebbian連想重み、1万次元のハイパーベクトルを組み合わせ、ローカルハードウェア上で質問に回答できるデータがあるかを事前に判定する。0.6ではtoken単位のMaxSimとマルチホップ経路エンコーディングが追加されたが、ゲート精度は現時点で約56%にとどまり、依然として研究プロトタイプの段階にある。
最新模型
ISTA DASLabは、GSQで量子化値を学習し、RCOで固定容量の範囲内における各テンソルの精度を選択した、3種類の混合精度Qwen3.8-27B量子化モデルを公開した。最小版はわずか8.4GBで、llama.cpp、Ollama、LM Studioから直接読み込める。ただし、ほぼ無損失という結論は、現時点ではチーム自身の評価に基づいている。
推論系統
新版では大規模なGGUF重み向けに`--usedirectio`が追加され、mmapでモデルをマッピングする際に関連するメモリページをロックできるようになった。Qwen3.8-Flash-Next、Ling-3.0-flash、カスタムJavaScriptツールにも対応するが、公式から読み込み速度やメモリのベンチマークはまだ公表されていない。
硬體
Sopro V2 Turboは、500Mパラメータの教師モデルを120Mパラメータへ蒸留し、さらにreflowによって音響ソルバーを32ステップから2ステップへ短縮した。M3 CPUでは約300ミリ秒で最初の音声チャンクを出力でき、ブラウザ推論にも対応するが、現時点で利用できるのは欧州の4言語のみで、訓練コードは公開されていない。
代理工具
Googleとパデュー大学の研究者は、エージェントが各ステップで固定されたスキル、現在の状態、最新の観察結果だけを読み込み、状態更新の検証後に推論履歴を直ちに破棄する仕組みを開発した。100ステップの倉庫タスクでは、65,408 tokenで0.94の精度を達成したが、その効果は、将来必要となる情報を保持できるよう事前設計された状態構造に依存する。
最新模型
Tencentは、Hy4 PreviewのApache 2.0ライセンスの重み、FP8版、およびvLLMとSGLang向けのデプロイ手順を公開した。このモデルは、770Bのパラメータのうちtokenごとに約49Bを活性化する。100万tokenのコンテキストに対応するが、品質と自己最適化の成果を裏付ける根拠は、現時点では主にTencentの内部評価に基づいている。
推論系統
llama.cpp b10687は、Snapdragon X2および旧世代のA7X GPUにおいて、OpenCLコンパイラが選択していた非効率な行列乗算パスを回避する。メンテナーの測定では、gpt-oss-20bとGemma 3nのプロンプトのプリフィルがそれぞれ約20～25%、9%高速化した一方、token単位のデコード速度は向上していない。
最新模型
FastVideoはDMD2蒸留と90%のスパース・アテンションにより、ベースモデルの49回のDiT呼び出しを4回に削減し、完全な重みとLoRAを公開した。リアルタイム生成の数値はB200×8基、専用VSAカーネル、ウォームアップ後のテストを前提としており、単一GPUや一般消費者向けGPUではまだ同等の速度に達していない。
AI 安全
NVIDIAは、0.0.113でローカル推論と状態ドリフトの検証を強化したのに続き、サンドボックス、推論サービス、ライフサイクル権限を永続的に検証可能なアイデンティティにバインドし、再試行や復旧操作が同名ながら別の実行環境を引き継ぐことを防ぐ。
AI 研究
CritICLは、小規模モデルの誤り、失敗タイプ、批評を事前にオフラインで整理し、問題ごとに繰り返しサンプリングする代わりに、関連事例を大規模モデルのプロンプトへ組み込む。著者らはQwen2.5による数学ベンチマークでself-consistencyをわずかに上回る正解率を報告したが、オフラインでのライブラリ構築コストと未公開のコードが再現性を制限している。
代理工具
PILOTは双方向チャネルでsupervisorとworkerエージェントを接続し、長時間タスクが完了する前でも、前者が指示を与えたり、誤った経路を中止したりできるようにする。著者らは3つのエージェント・ベンチマークで精度とtoken効率の向上を報告しているが、「自己改善」が更新するのはharness、スキル、メモリのみで、モデルのパラメータは変更しない。