推論系統
smolperfbenchmark、エッジLLMのエネルギー効率ベンチマークを公開。ただしライブ・リーダーボードの結果は現在0件
新たなオープンソースのベンチマークスイートは、小型モデルをJetson、Mac、Raspberry Pi、Androidデバイスで動かし、データセンターGPUのスループットだけでなく、デコード速度、tokens/J、レイテンシ、温度を測定する。作者は約1,000通りのJetson構成をテスト済みとしているが、現在、公開リーダーボードにはデータが1件も読み込まれておらず、ユーザーは当面、リポジトリ内のレポートとraw artifactsを参照して結果を検証する必要がある。