SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

推論系統

Microsoftのツールチェーンにロボットの推論オフロード機能、ネットワーク条件が依然として作業成功率を左右

Physical AI ToolchainがリモートGPUへの推論処理のデプロイに対応し、2種類のロボットアームのサンプルを提供。既存研究では、追加の遅延や画像伝送に必要な帯域幅が演算面の利点を相殺する可能性が示されており、導入には制御フロー全体の評価が必要となる。
AI 研究

SWE-Serve、実際のサービングテストを導入し、コーディングエージェントの修正における検証ギャップを明らかに

新ベンチマークはSGLangの53タスクでコーディングエージェントを評価し、他のチェックに合格した修正でも、モデルを正常にサービングできない場合があることを示した。結果は特定のテスト環境に限られ、ベンチマークに合格しても本番投入が可能になったことを意味しない。
代理工具

Strands、コンテキストのオフロードとプロンプトキャッシュを組み合わせた汎用エージェント実行フレームワークを公開

Strands harnessは、ツール、メモリ、コンテキスト管理をすぐにデプロイできるエージェントに統合し、PythonとTypeScriptのインターフェースを提供する。公式のコスト比較も公開されたが、実際の効果はタスク、モデル、キャッシュ条件によって異なる。
最新模型

NVIDIA、最大8人対応の話者分離モデルを公開、推奨される最小バッファ遅延は320ミリ秒

Nemotron 3 Diarizationは1億パラメータでストリーミング音声と録音を処理し、話者キャッシュを引き継いで区間をまたぐラベルの一貫性を維持する。遅延の数値は音声のバッファリングのみを対象としており、実際の導入では認識、通信、後処理にかかる時間も測定する必要がある。
最新模型

GPT-6 SolとLunaが登場、トークン単価を引き下げ、エージェント向けキャッシュ制御を拡充

Solの標準入力・出力単価は前世代のプロモーション価格から半減し、Lunaも同時に値下げされた。キャッシュの更新により、エージェントが推論やツールの使用を調整する際もプレフィックスを保持できるようになるが、書き込み料金やタスクの再試行は引き続き総コストに影響する。