SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

GitHub Repo

TransformersでキャッシュのオフロードによりQwen3.8の出力が変化するとの報告、異常は初回の再利用から

最小再現コードを添えた報告によると、ハイブリッドアテンションモデルではプリフィルが正常でも、次のステップの出力がずれる可能性がある。メンテナーによる確認はまだなく、GPUメモリ使用量の最適化においても、複数ステップにわたる数値的一致性の検証が必要であることを示している。
AI 基礎設施

AgentCore Runtime V2がメモリ回収とスナップショット起動を導入、公式テストのコールドスタートは約2秒

AWSがエージェント実行環境を更新し、長時間セッションのメモリ使用量を削減するとともに、コールドスタートを短縮。性能値は実処理を行わないエージェントによるテストに基づいており、コスト効果やスナップショット復元時の挙動は、実際のワークロードで検証する必要がある。
推論系統

SemIfがブラウザ内での選択肢スコアの読み出しを実演、判断に用いる確率には別途校正が必要

このローカル推論実験は、選択肢のlogitsを直接読み出す方法と、JSONをトークン単位で生成する方法を比較し、開発者が出力形式に伴うコストを測定できるようにするものだ。結果は量子化、ブラウザ、テストの実行順序にも左右され、選択肢の確率をそのまま信頼度と見なすことはできない。
AI 基礎設施

AIPerfがマルチプロセスでLLMの性能測定を再構築、ストリーミング指標はカウント方法の確認が必要

NVIDIAがGenAI-Perfの後継ツールAIPerfを詳説。負荷生成、結果処理、トラフィックのリプレイをマルチプロセス構成に組み込む。推論サービスをより包括的に測定できる一方、移行時の互換性やストリーミング時のトークンのカウント方法は、依然として結果の解釈に影響する。
AI 研究

SoL-Pi、4つの仕組みでエージェントのコストを削減、EdgeBenchスコアの約94%を維持

NVIDIAなどのチームが自動実験を通じてエージェントのフレームワークを最適化し、2つのモデルでトークントラフィックを約45〜49%削減した。公開された拡張機能は元のエビデンスを保持し、必要に応じて取得できるが、全機能を有効にした構成ではスコアやタスク完了率とのトレードオフが残る。
GitHub Repo

LocalAI 4.10、クラスター操作とプライベートソースのダウンロード認証情報を統一し、エンドツーエンドのベンチマークを追加

新版では、ノードの健全性、モデルレプリカ、ライフサイクルの一括操作をクラスターダッシュボードに統合し、プライベートソースの認証も統一した。新しいベンチマーク機能で性能回帰の測定が可能になるが、最初のトークンが出力されるまでの遅延や、多数の同時リクエストに対する処理能力は測定対象に含まれない。
最新模型

DeepSeek、V4.1-Flashの圧縮設計を公開　グローバルKVキャッシュを1トークン当たり890バイトに

新たな技術報告では、層をまたぐキャッシュの再利用、FP4での保存、ローカル状態の再構築によって、長いコンテキストを扱うエージェントの運用コストを削減する仕組みを解説。圧縮の数値はGPUメモリ全体の必要量を示すものではなく、近似的な再構築が品質に及ぼす影響の限界も、引き続き検証が必要だ。
推論系統

GLM、階層的なフィードバックで推論を最適化　公開パッチが示す長コンテキストでの精度の限界

Z.aiは、GLM-5.3が推論システムの開発に参加したエンジニアリング手法を公開した。数値テスト、実行トレース、個別処理のベンチマークをエージェントによる反復的な開発に組み込む。アップストリームのコードでは長コンテキストの精度修正を確認できるが、この機能はデフォルトでは無効であり、それだけでシステム全体のスループットが3倍になったという主張を検証することはできない。