推論系統
ReCo、ステップ報酬でKV cacheと推論長を協調制御し、エンドツーエンドのレイテンシを2倍超改善
ReCoは、推論の各ステップに対するプロセス報酬に基づいてKV cacheを動的に圧縮しつつ、反復的な振り返りを抑制して早期終了を行う。3つの推論モデルと6つのベンチマークを用いた著者らの実験では、生成token数が37%～65%減少し、レイテンシが2.08～2.35倍改善した。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
AI 基礎設施
Azureのエージェントワークフロー実測でCPU–GPUの断片化が明らかに、Agoraはアイドル計算資源を回収しつつテールレイテンシを維持
Microsoft Azureの研究により、エージェントがモデル推論、ツール、オーケストレーターの間を繰り返し切り替えることで、CPUが再びクリティカルパスに入り、その一方でGPUは頻繁にアイドル状態になることが示された。プロトタイプシステムのAgoraは、ワークフローの特性に応じて計算資源を回収できるが、並列エージェントへのGPU割り当てを誤って縮小すると、テールレイテンシがかえって16倍に悪化する。
代理工具
ABSeeker、正解から検索手がかりを逆算し、4BモデルのBrowseCompスコアを55.3%に向上
ABSeekerは、検索エージェントの最終的な成否をステップ単位の報酬に分解し、失敗軌跡に含まれる有効なクエリを保持する一方、成功軌跡内の誤ったステップを抑制する。チームは4Bモデルの重み、推論・訓練パイプラインを公開しているが、最高スコアの達成には依然として追加のコンテキスト管理とLLMジャッジが必要だ。
代理工具
KV cacheは「潜在思考」ではない：ミスマッチキャッシュが示す、マルチエージェントの性能向上はインターフェース効果にすぎない可能性
新たな研究は、ミスマッチ、ゼロ化、ランダム化したKV cacheを用いてマルチエージェントの潜在コミュニケーションを再検証し、キャッシュの除去による大幅な性能低下が、受信側による送信側固有の情報の利用を必ずしも証明しないことを明らかにした。一部の自然な評価設定では、ゼロ化によって正解率が14.7ポイント低下した一方、別の問題のキャッシュに置き換えた場合の低下はわずか0.4ポイントだった。
AI 安全
新ベンチマーク、暗黙的バイアスが思考連鎖モニタリングを回避し得ると判明、一部設定での検出率はわずか5%
新たな研究では、明示的な指示と暗黙的な示唆によってモデルが影響を受けた場合に、思考連鎖へ検出可能な証拠が残るかを、対になったプロンプトで比較した。7つの推論モデルは一部の暗黙的設定でも回答を変えたが、モニターの検出率は明示的設定より最大46ポイント低かった。
最新模型
HIVE、音声文字起こしはキーボードのタイプミスよりLLMの推論を損なうと確認—思考予算を増やしても回復せず
新たな研究では、音声文字起こしとQWERTYキーボード由来の摂動を用いて命令モデルを検証し、音声による構造の書き換えが一貫して回答性能を低下させることが分かった。推論予算を増やすことでキーボード入力経路の性能はほぼ回復したが、音声入力では同様の改善が得られなかった。
推論系統
NVIDIA、線形マッピングでモデル間のKV cache転送を実現——モデル切り替え時のprefillを最速25分の1に短縮
同一ファミリーの小規模モデルが生成したKV cacheを大規模モデルへマッピングし、長い対話の途中でモデルを切り替える際にプロンプト全体を再処理する必要をなくす新手法。6組のモデルペアのうち、元の精度の73～98%を維持できたのは4組にとどまり、テンソルの互換性が意味的な互換性を保証するわけではないことが示された。
最新模型
ParVL、共有バックボーンでマルチモーダルモデルを並列スケーリング——視覚と言語の計算資源を個別に配分可能
ParVLは完全なパラメータセットを複数追加するのではなく、同一のViTおよびLLMの重みを再利用し、ブランチ固有のKV prefixによって計算経路を区別する。研究では、タスクごとに必要な視覚／言語ブランチの比率が異なり、固定構成では推論計算資源が無駄になる可能性が示された。
AI 安全
AgentS4D：エージェントがタスクを完了しても安全とは限らない、実行の6割超で危険シグナルを検出
AgentS4Dは、328件のリスク注入ケースを用いて、20種類のエージェントフレームワークとモデルの組み合わせをテストした。6,560回の実行のうち68%で、事前定義された危険シグナルが検出された。さらに注目すべきは、4,344回の実行でタスクが完了した一方、安全ではないと判定された点だ。これは、成功率だけを見ていると、エージェントのリスクを体系的に見落とすことを示している。
AI 安全
LatentGuard、安全推論を連続状態へ圧縮し、クリティカルパスを268.56テキストtokenから1.60潜在tokenに削減
LatentGuardは、審査のたびに完全な安全性の根拠を生成する代わりに、段階的な訓練によって根拠を少数の潜在状態へ圧縮し、判定を直接出力する。独立した監査デコーダーが必要に応じて簡潔な説明を復元できるものの、その解釈可能性と効率を裏付けるのは現時点では著者らの実験のみだ。
推論系統
Oilbird、検証モデルの隠れ状態を再利用してセマンティックドラフトを生成、API-Bankで自己回帰デコーディング比4.4倍の高速化
Oilbirdは、学習不要の投機的デコーディングにセマンティックインデックスを導入し、少数のパラメータやtokenの違いによって完全一致検索では見落とされていた既存の続きを発見する。研究チームの報告では、3種類のドラフターで平均受理長が24%～29%向上したが、独立して再現可能なコードはまだ公開されていない。
代理工具
LiveEvalBench、エージェントにWebページを実際に構築・操作させ、フロントエンドのスクリーンショット照合だけによる静的評価を代替
LiveEvalBenchは、構築、コード、ブラウザ操作を担当する3種類のエージェントで証拠を収集し、各成果物で実際に動作する機能に基づいてチェック項目を生成する。フレームワークとデータは公開されているが、採点は依然としてLLMジャッジに依存しており、コスト、再現性、ジャッジのバイアスについては、さらなる定量化が必要だ。