代理工具
MLPerfが初めて完全なRAGパイプラインを測定、ただし性能モードでは検索経路を固定
MLCommonsは、ベクトルデータベースの構築とマルチホップ質問応答のスループットを個別に測定する、エンドツーエンドRAG推論ベンチマークを追加した。生成の不確実性を抑えるため、性能テストでは各段階で事前に記録した入力を再生する。そのため、オンラインRAGの動的な挙動を完全には反映しない。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
AI 安全
StepGuard、ツール実行前にエージェントのアクションを審査。ただしタスクごとに推論時間が約2.53秒増加
上海人工知能研究所などのチームが、4BパラメータのStepGuardを発表した。安全／危険な軌跡のペアとBalance-GRPOを用いて、過剰なブロックと見逃しを調整する。2つのエージェント環境で攻撃成功率を大幅に低減した一方、訓練コーパスとデータ生成器はまだ公開されておらず、規範上の違反も見逃すことがある。
推論系統
AgentX 1.0、393件の実エージェント軌跡で100万token規模の推論負荷をリプレイ
SemiAnalysisは、長いコンテキスト、マルチターン、サブエージェントの並行実行に対応するAgentXを公開した。これにより、推論システムの比較は、固定長プロンプトのスループットだけに依存しなくなる。データはリクエストのタイミングとKV cache再利用の形状を保持しているが、ソースはClaude Codeに集中しており、測定対象はプログラミングタスクの正答率ではなく、サービングシステムの効率である。
GitHub Repo
llama.cpp 0.3.0、ハイブリッドアテンションKVキャッシュ、MTP、DeepSeek 4のテンソル分割を追加
llama.cpp 0.3.0は、dots3-noteのDSA／スライディングウィンドウ・ハイブリッドアテンションをネイティブサポートし、GLM-4.5-Airにmulti-token predictionを導入した。DeepSeek 4では複数GPUにまたがるテンソル分割が利用可能になったが、リリースノートにはスループット、レイテンシ、VRAM使用量の比較は示されていない。
代理工具
DeepRepoQA、モンテカルロ木探索でファイルをまたぐコード関係を追跡。ただし評価は依然としてLLMジャッジに依存
DeepRepoQAは、コーディングエージェントに単一路径を探索させるのではなく、MCTSで複数のリポジトリ探索分岐を比較し、行番号付きの証拠から回答を合成する。公式報告ではSWE-QAで4～7ポイントの向上を達成したが、データ汚染、推論コスト、限定的なクロス言語テストについては、なお検証が必要だ。
最新模型
Qwen3.8-Flash-Next、線形アテンションとブロック疎検索を組み合わせ、Qwen4アーキテクチャを先行公開
AlibabaはQwen3.8-Flash-Nextの重みを公開した。Gated DeltaNetで履歴状態の大部分を圧縮し、Qwen Sparse Attentionで完全なコンテキストから情報を検索する。モデルは262K tokenをネイティブにサポートするが、公式が示す100万tokenでの性能とエージェント評価については、今後も独立した再現検証が必要だ。
最新模型
Thomson Reuters、200BトークンでQwenを継続学習、35B法律モデルを非商用研究向けに公開
Thomson-1.0-SmallはQwen3.6-35B-A3Bをベースに、独自文書、合成リライト、汎用能力のリプレイデータを用いて中間学習を実施した。公式評価では法律エージェント能力が向上した一方、一部の汎用タスクとプログラミングタスクではベースモデルを下回った。
Granite Speech 5.0 移除 LLM 骨幹，以 470M CTC 模型換取逾 12,600 RTFx 批次轉錄
IBM 的兩款英語語音辨識模型把輸出速率降至每秒12.5個token，並以三段時間下採樣減少運算。官方在單張H200測得每秒處理逾3.5小時音訊，但這是大批次吞吐量，不等同互動串流延遲。
QAH 讓 60B MXFP4 模型在 9 項評測中有 7 項超越同架構 BF16 版本
Multiverse Computing 改由原始 120B 模型直接蒸餾經結構壓縮及量化的 60B 學生模型，避免把中間恢復模型的誤差當成學習上限。結果顯示 4-bit 模型可超越同架構 BF16 檢查點，但未全面追回原始教師的能力。
推論系統
NVIDIA Dynamo、共有HBMウェイトでスタンバイエンジンを事前ウォームアップし、フェイルオーバーを283秒から7.3秒に短縮
Dynamoの実験的なShadow Engine Failoverでは、2つの推論プロセスが同一のGPUウェイトをマッピングすることで、プロセスのクラッシュ後にモデルを再ロードする必要をなくす。NVIDIAによるGLM-5.2のテストでは復旧時間が約39分の1に短縮されたが、現時点では主にvLLMのみをサポートし、GPU、ノード、クロスノードの障害には対応できない。
RAG 與文件處理
Docling 2.122、コンパクトな表出力を変換APIに統合し、旧版iWork文書の構造を復元
Docling 2.122.0では、バッチ変換から列のパディングを含まないMarkdown表を直接出力できるようになり、iWork ’09のタイトル、見出し階層、表の復元も始まった。新版ではOCR、PDFのハイフン、レイアウトの重複に関する問題も修正されたが、公式には性能や抽出精度の変化は定量化されていない。
AI 安全
「ネット遮断」されたエージェントでも推論API経由で外部ファイルを取得可能、評価環境の隔離はサーバー側まで拡張が必要
Prime Intellectは、外部通信を禁止したサンドボックス内のエージェントでも、推論エンドポイントのリモートファイル機能をネットワークプロキシとして利用できる可能性があると報告した。テストで攻撃が成功したのは一度だけだったが、評価の不正操作と推論サービスにおけるSSRFに共通する境界上の欠陥が明らかになった。