GitHub Repo
vLLM、ハードウェア非依存層の進展を公表 複数のアクセラレーターに対応するコンパイル経路を維持
新たな経路では、ポータブルなモデル層をハードウェア固有の最適化から分離する。最初のコンポーネント群はすでにTransformersバックエンドに組み込まれた。H100での初期テストでは従来の経路に近いスループットを示したが、レイヤーの対応範囲やプラットフォーム間の性能は引き続き確認が必要だ。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
GitHub Repo
新たな経路では、ポータブルなモデル層をハードウェア固有の最適化から分離する。最初のコンポーネント群はすでにTransformersバックエンドに組み込まれた。H100での初期テストでは従来の経路に近いスループットを示したが、レイヤーの対応範囲やプラットフォーム間の性能は引き続き確認が必要だ。
GitHub Repo
新バージョンでは、エージェントがシステムメッセージを通じてツールセットを調整でき、内容に応じてベータ版ヘッダーが追加される。キャッシュの効果は引き続き設定とメッセージの位置に依存し、未知のシステムブロックの処理方法も変更された。
AI 研究
新ベンチマークはSGLangの53タスクでコーディングエージェントを評価し、他のチェックに合格した修正でも、モデルを正常にサービングできない場合があることを示した。結果は特定のテスト環境に限られ、ベンチマークに合格しても本番投入が可能になったことを意味しない。
最新模型
DROIDとSO-101向けの重みとファインチューニング手順を提供。RoboLabの公開リーダーボードでは成功率約42.9%を記録した。制御ループは引き続きアプリケーション側で処理する必要があり、計画が対象とする時間幅を推論レイテンシとみなすことはできない。
AI 研究
変更の規模を制限し、評価結果のばらつきと推論コストに基づいてエージェントフレームワークの変更を選別する研究。公開実装により追試が可能だが、トークン削減幅は比較対象によって異なる。
代理工具
Strands harnessは、ツール、メモリ、コンテキスト管理をすぐにデプロイできるエージェントに統合し、PythonとTypeScriptのインターフェースを提供する。公式のコスト比較も公開されたが、実際の効果はタスク、モデル、キャッシュ条件によって異なる。
最新模型
Nemotron 3 Diarizationは1億パラメータでストリーミング音声と録音を処理し、話者キャッシュを引き継いで区間をまたぐラベルの一貫性を維持する。遅延の数値は音声のバッファリングのみを対象としており、実際の導入では認識、通信、後処理にかかる時間も測定する必要がある。
GitHub Repo
新バージョンでは接続クライアントを再構築し、strict モードを有効にしても古いエンドポイントが使われ続ける問題を修正。カスタム API URL は自動で書き換わらないため、アップグレード後はスキーマと接続設定の確認が必要だ。
GitHub Repo
既存のIntelドライバーで計算グラフをコンパイルし、SHAVEカーネルを置き換えることで、カスタムCプログラムをNPU上で実行する。新たなテストでは2種類の精度を持つ独立ブランチを検証したが、任意の混合精度パイプラインにはまだ対応していない。
最新模型
Solの標準入力・出力単価は前世代のプロモーション価格から半減し、Lunaも同時に値下げされた。キャッシュの更新により、エージェントが推論やツールの使用を調整する際もプレフィックスを保持できるようになるが、書き込み料金やタスクの再試行は引き続き総コストに影響する。
GitHub Repo
RTX 4070を使った再現例で、一部のテンソルサイズではtorch.compile後に誤った結果が生じることが示された。報告ではループの並べ替えと読み書きの依存関係が指摘されており、修正や他の環境への影響は引き続き確認が必要だ。
推論系統
固定ワークロードでBaseRTとllama.cppを比較し、ファイルのハッシュと各測定の所要時間を保存する。ランタイム間のウォームアップの違いや自己申告データの信頼性が、依然としてランキングの解釈を制約する。