SURL AI News
繁中English日本語

Archive

最新模型

新模型、開放權重、多模態、語音、影像與模型架構。

推論系統

NVIDIA、B200のコンフィデンシャル推論テストを公表、特定のワークロードで96%超のスループットを維持

B200を8基使用してDeepSeek-R1を実行したテストでは、コンフィデンシャルコンピューティングによる1トークン当たりの平均レイテンシーの増加率は5%未満だった。この結果はメモリ転送、カーネルの時間計測、GPU間通信の調整に依存しており、実際のサービスのワークロードに即した再検証が必要だ。
GitHub Repo

vLLM、ハードウェア非依存層の進展を公表　複数のアクセラレーターに対応するコンパイル経路を維持

新たな経路では、ポータブルなモデル層をハードウェア固有の最適化から分離する。最初のコンポーネント群はすでにTransformersバックエンドに組み込まれた。H100での初期テストでは従来の経路に近いスループットを示したが、レイヤーの対応範囲やプラットフォーム間の性能は引き続き確認が必要だ。
推論系統

Microsoftのツールチェーンにロボットの推論オフロード機能、ネットワーク条件が依然として作業成功率を左右

Physical AI ToolchainがリモートGPUへの推論処理のデプロイに対応し、2種類のロボットアームのサンプルを提供。既存研究では、追加の遅延や画像伝送に必要な帯域幅が演算面の利点を相殺する可能性が示されており、導入には制御フロー全体の評価が必要となる。
AI 研究

SWE-Serve、実際のサービングテストを導入し、コーディングエージェントの修正における検証ギャップを明らかに

新ベンチマークはSGLangの53タスクでコーディングエージェントを評価し、他のチェックに合格した修正でも、モデルを正常にサービングできない場合があることを示した。結果は特定のテスト環境に限られ、ベンチマークに合格しても本番投入が可能になったことを意味しない。
代理工具

Strands、コンテキストのオフロードとプロンプトキャッシュを組み合わせた汎用エージェント実行フレームワークを公開

Strands harnessは、ツール、メモリ、コンテキスト管理をすぐにデプロイできるエージェントに統合し、PythonとTypeScriptのインターフェースを提供する。公式のコスト比較も公開されたが、実際の効果はタスク、モデル、キャッシュ条件によって異なる。
最新模型

NVIDIA、最大8人対応の話者分離モデルを公開、推奨される最小バッファ遅延は320ミリ秒

Nemotron 3 Diarizationは1億パラメータでストリーミング音声と録音を処理し、話者キャッシュを引き継いで区間をまたぐラベルの一貫性を維持する。遅延の数値は音声のバッファリングのみを対象としており、実際の導入では認識、通信、後処理にかかる時間も測定する必要がある。