SURL AI News
繁中English日本語

Archive

全ニュース

技術ニュース 1516 件

推論系統

NVIDIA、B200のコンフィデンシャル推論テストを公表、特定のワークロードで96%超のスループットを維持

B200を8基使用してDeepSeek-R1を実行したテストでは、コンフィデンシャルコンピューティングによる1トークン当たりの平均レイテンシーの増加率は5%未満だった。この結果はメモリ転送、カーネルの時間計測、GPU間通信の調整に依存しており、実際のサービスのワークロードに即した再検証が必要だ。
GitHub Repo

vLLM、ハードウェア非依存層の進展を公表　複数のアクセラレーターに対応するコンパイル経路を維持

新たな経路では、ポータブルなモデル層をハードウェア固有の最適化から分離する。最初のコンポーネント群はすでにTransformersバックエンドに組み込まれた。H100での初期テストでは従来の経路に近いスループットを示したが、レイヤーの対応範囲やプラットフォーム間の性能は引き続き確認が必要だ。
推論系統

Microsoftのツールチェーンにロボットの推論オフロード機能、ネットワーク条件が依然として作業成功率を左右

Physical AI ToolchainがリモートGPUへの推論処理のデプロイに対応し、2種類のロボットアームのサンプルを提供。既存研究では、追加の遅延や画像伝送に必要な帯域幅が演算面の利点を相殺する可能性が示されており、導入には制御フロー全体の評価が必要となる。
AI 研究

SWE-Serve、実際のサービングテストを導入し、コーディングエージェントの修正における検証ギャップを明らかに

新ベンチマークはSGLangの53タスクでコーディングエージェントを評価し、他のチェックに合格した修正でも、モデルを正常にサービングできない場合があることを示した。結果は特定のテスト環境に限られ、ベンチマークに合格しても本番投入が可能になったことを意味しない。