最新模型
TIDEが教師—生徒間のミスマッチを修正、Qwen3の推論Avg@8が6.9%から20.3%に向上
TIDEは、高いtoken一致率をそのまま蒸留の成功とは見なさず、生徒による過剰生成と、教師が選好するtokenの取りこぼしを個別に処理する。強いミスマッチ設定では、平均回答長も同時に3.6分の1へ短縮した。一方、完全な訓練の再現には依然として8基のGPUが必要で、著者らはcheckpointを公開していない。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
最新模型
ICBQが量子化ブロックの継ぎ目を再検証、Qwen3‑8Bの三値モデルのパープレキシティを5752.9から29.9へ低減
ICBQは量子化器を置き換えるのではなく、隣接するTransformerブロックの境界に2回目の共同キャリブレーションを施し、初期の誤差が深さ方向に累積するのを抑える。品質向上の代償として量子化時間は平均21％増加し、著者らはまだ実装を公開していない。
最新模型
Matryoshka、3種類のモデルを単一の重みに内包し、学習計算量を36％削減
Matryoshka Language Model Suitesは、500M、1.5B、3Bのサブモデルを個別に切り出せる入れ子構造として連結し、サイズごとの重複学習を回避する。前段の層とKVキャッシュを共有することで、投機的デコーディングのスループットも14％から26％向上するが、現時点で検証されているのは3B級の基盤モデルに限られる。
推論系統
Tevatron-Elastic、単一の検索checkpointで深度・token・ベクトル幅を調整
Tevatron-Elasticは、early exit、Matryoshkaベクトル、層間token圧縮を設定可能なoperating pointとして統合し、1つのcheckpointで複数のコスト構成に対応する。Qwen3‑0.6B rerankerは第16層で完全な品質を維持しつつ、著者らのテスト環境で1.75倍の高速化を達成した。
推論系統
KVDiagnosis、KVキャッシュ圧縮の失敗をサンプル単位で追跡し、正解から不正解に転じた12,520件の事例を公開
KVDiagnosisは長文コンテキストの総合スコアを比較するだけでなく、各圧縮設定についてFullCacheとのペアを作成し、エビデンスの保持、アテンション、確率のドリフトを追跡する。チームは実装監査により、結果が完全に一致していたPyramidKVの7,800組の記録も除外し、手法横断の評価がアダプターの不具合によって容易に汚染され得ることを浮き彫りにした。
推論系統
Laguna S 2.1 INT4とDFlashを組み合わせ、RTX 3090×4枚で200Kコンテキストと最大282.5 token/sを実測
コミュニティが再現可能なvLLMレシピを公開した。24GBのRTX 3090を4枚使用してLaguna S 2.1 INT4をデプロイし、精度を揃えたDFlashドラフトモデルによって190K-tokenの実リクエストを処理している。282.5 token/sは特定の設定におけるピーク値であり、持続スループットではない。低ビット量子化の品質と互換性も、依然としてcheckpointと実行エンジンに大きく左右される。
PTQ4SNN 同時量化權重與膜電位，事件分類僅損失 1 個百分點
PTQ4SNN 把脈衝神經網路長期保留的浮點膜電位納入後訓練量化，按通道配置 2、4 或 8 位元。論文在分類與語意分割上接近浮點模型，但硬體收益仍來自分析模型，且專用程式尚未公開。
RAG／文件理解
DocMemo、ベイズ的ページ記憶で長文書を再検索し、MMLongBenchで正解率71.3%を達成
DocMemoは、初回検索のtop-kページを最終結果とはみなさず、推論のフィードバックをページ関連度分布へ反映して再サンプリングする。3層のメモリは長文書QAの性能を向上させる一方、評価はGPT-4.1に依存しており、公開リポジトリも依然として非常に簡素だ。
推論系統
CoBa、推論計算資源を動的に配分し、加重tokenを58.9%削減しながらBest-of-16に匹敵
CoBaはまず少数の回答候補を生成し、候補間の不一致度と検証スコアに応じて、追加サンプリングを行うか、より強力な検証器を有効にするかを決定する。5つの推論ベンチマークでマクロ平均正解率85.13%を達成したが、結果はオフラインの候補プールを用いたリプレイによるものであり、オンラインサービスでの実測ではない。
最新模型
Meta、Muse Glimmer 30Bをオープン化：17GB量子化版とDFlashによりRTX 5090で233 token/sを達成
Muse Glimmerは、マルチモーダル入力、ツール呼び出し、失敗時の再試行を、コンシューマー向けハードウェアにデプロイ可能な30BのDenseモデルに統合した。Apache 2.0ライセンスの重みと公式GGUFはすでに公開されているが、性能および安全性の数値は現時点で主にMeta自身の評価に基づいている。
代理工具
A²E、23種類のベンチマークと9種類のエージェントシェルを統合、各評価セルは依然わずか5問
上海人工知能研究所がA²Eを公開した。Agent Task Protocolにより、ベンチマーク、エージェントシェル、軌跡評価を分離する。1,035回のペアリング実験から、シェルがツール使用とtokenコストに影響することが示された一方、サンプル数はフレームワークのランキングを裏付けるには不十分だ。
代理工具
Shepherd v0.3.0はエージェントによる変更をレビュー可能な提案として保持するが、論文で示された自動フォーク監督はまだ完全には提供されていない
Shepherdはモデル呼び出し、ツール操作、ファイル変更を永続的な実行トレースとして記録し、変更がワークスペースに反映される前にユーザーが確認または破棄できるようにする。一方、最新のドキュメントでは、論文とプロジェクトのホームページで紹介されているmeta-agentによる委譲、実行中のフォーク、自動再試行インターフェースが、v0.3.0でそのまま利用できる機能ではないことも明記されている。