SURL AI News
繁中English日本語

Archive

GitHub Repo

GitHub 熱門專案、開源工具、框架、runtime 與重要 release。

AI 研究

共有推論のコスト研究がH100での検証結果を公開、計測方法でテナントの負担割合が変化

unallocはクラスターとモデルの請求データを統合する。研究では、計測方法によって同じテナントの費用負担割合に約12–14パーセントポイントの差が生じた。実機検証は各ワークロードにつき短時間のテストを1回実施しただけで、結果を正しい配賦割合についての確定的な結論とみなすことはできない。
GitHub Repo

vLLMコミュニティがRDNA向けのタイリング調整を提案、W7900の埋め込み処理スループットが実測で約17～19%向上

コミュニティのテストでは、アテンションカーネルのキーバリューブロックを小さくすることで、AMD製GPU上の埋め込みサービスの性能が向上した。変更はまだ提案段階であり、カーネルの高速化倍率、全体のスループット、検索品質はそれぞれ評価する必要がある。
AI 研究

LangChainがエージェント評価器Jevを検証、5つの固定ケースでスコアのばらつきが小さい結果に

LangChainは天気エージェントの実行ログ5件をそれぞれ100回再評価し、Jevのスコアのばらつきと呼び出しコストが低いことを確認した。ただし、人手でラベル付けを行ったアノテーターは1人のみで、サンプリング設定やホストされたモデルのバージョンも結果の解釈を制約している。