SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

最新模型

u-OPSD、モデル内部の投票だけで学習し、Qwen3-8Bの数学5ベンチマーク平均を10.7ポイント向上

u-OPSDは、同一モデルによる8本の推論軌跡から多数決で疑似解答を生成し、合意を条件とするtoken分布を意見が分かれた軌跡へ蒸留する。Qwen3-8Bの非思考モードにおける5ベンチマーク平均スコアは43.57から54.31へ上昇したが、誤った合意と複数回サンプリングのコストが依然として適用範囲を制限している。
最新模型

BaKron、両側 Hessian 量子化を3次計算量に削減――8192次正方行列カーネルでYAQAの60倍高速

BaKronは反対角線方向の並列化と再帰的な分割統治により、入力側と出力側の曲率情報を保持しながら、総計算量を4次から3次へ削減する。Llama 3 8Bを2.81-bitで量子化した実験ではGPTQよりパープレキシティが改善したが、全体の量子化時間は依然として長く、現時点で公開実装も確認されていない。
代理工具

690件のエージェントスキルを実測：ハイブリッド検索のhit@5は73.5%、LLM知識グラフの追加で11.2ポイント低下

新たな研究により、埋め込み近傍で候補エッジを事前に制限すると、知識グラフが検索器では見つけられなかったスキルに到達できなくなることが判明した。BM25とベクトル検索の融合でも約4分の1のクエリは未解決だが、同じtoken予算ではグラフ近傍を上回った。
最新模型

Hyper-ES、勾配で低次元探索空間を構築し、数学的推論でGRPO-LoRAを平均1％上回る

Hyper-ESは、数十億次元のモデル重み上で直接ランダムな進化的探索を行うのではなく、少数のファインチューニング方向から部分空間を構成し、層ごとのモデルマージ係数を探索する。著者らは3つのモデルと6つの数学データセットで小幅な性能向上を報告しているが、この手法は完全な勾配フリーではない。
最新模型

MACRO、凍結したTransformer層を並べ替え、6モデルの平均精度を5.0ポイント向上

MACROはモデルの重みを更新せず、タスクごとに、層のスキップ、前の層へのジャンプ、隠れ状態の再利用が可能な固定実行パスを探索する。著者らは13のベンチマークで探索時間を14.8時間から1.6時間に短縮したと報告しているが、新しいタスクごとにラベル付きの訓練データと検証データが依然として必要となる。
最新模型

Google、WeatherNext 2のコードと重みを公開　完全版モデルの推論にはH100クラスのメモリが必要

Google DeepMindは、WeatherNext 2のJAX実装、事前学習済み重み、Colabで実行できる軽量版を公開した。最長15日先までの全球天気予報と熱帯低気圧予測に対応する。研究者は自己回帰型の予報フローを再構築できるようになったが、完全版モデルは依然としてECMWFの初期データとハイエンドアクセラレータを必要とし、その出力も公式の警報に代わるものではない。
推論系統

WitProbe、4種類のアテンションメモリ向けにランタイム・リスク台帳を構築、1,240万回の読み出しで予算超過なし

新たな研究は、型付き誤差契約によってKV cache、latent cache、スパースセレクター、再帰状態の監視を統一し、形式化可能な合成規則をLeanで検証した。公開リポジトリでは論文の数値と67件の定理を再現できるが、アーキテクチャ固有のプローブと完全なサービス基盤は含まれていない。
代理工具

CodeGrep、リポジトリ検索を14Bの専用エージェントに分離し、修正成功例のtoken使用量を19%削減

CodeGrepは、並列grep、glob、ファイル読み取りによって変更対象を絞り込んだ後、候補ファイルを凍結されたOpenHandsコーディングエージェントに渡す。SWE-bench Verifiedで約27%の修正率を維持しながら推論コストを削減したが、モデルと学習パイプラインはまだ公開されていない。
代理工具

プログラマティックなツール呼び出し、14モデル中11モデルでJSONと同等以上、長いチェーンタスクでは18.8ポイント差

新たな研究では、API schemaを型付きPython stubにコンパイルし、モデルが1回の推論でツール呼び出しを連結または並列実行できるようにした。この手法はBFCL v4のサブセットにおいて、大半のモデルでネイティブJSONと同等以上の性能を示した。ただし、現時点で検証されたのは引数をそのまま返す模擬ツールのみであり、実際のAPI workflowでも同様の効果が得られるとはまだ証明されていない。
最新模型

DASH、推論軌跡に応じて蒸留重みを動的に配分——Qwen3の3モデル規模すべてで固定重みベースラインを上回る

DASHは、各tokenにおける教師—学生間の差異を一律に扱わず、生成軌跡全体に基づいて監督を前方へ伝播させる距離を調整する。著者らは3つの数学ベンチマークで安定した性能向上を報告し、訓練コード、評価パイプライン、LoRA重みも公開した。
代理工具

Argus、固定重みのエージェントに経験を蓄積させ、SWE-Bench Proの精度を59％から約78％へ向上

Argusは長期タスクを制約付きのmissionに分割し、Manager、Planner、Engineer、Reviewerが共同で永続化可能な状態を維持する。著者らの報告では、tokenコストを1.41倍にすることでプログラム修復の成績を向上させたほか、エージェントが生成したRWKV6カーネルも外部からの修正を経てオープンソースプロジェクトにマージされた。