Pipette、オンデバイスモデル評価をオープンソース化：精度・レイテンシ・メモリを同時に定量化、ただしデバイスをまたぐ順位の直接比較は不可

Liquid AIとArtificial Analysisは8月24日、モデルカードで最も欠けがちな情報を補うことを目指してPipetteをリリースした。それは、量子化後のモデルが特定のスマートフォン、OS、推論runtime上で実際にどのように動作するかという情報だ。初回データセットは、1,000を超える「モデル × 量子化 × runtime × デバイス × コンテキスト」の構成、30以上のモデル、256〜8,192 tokenのコンテキスト長を網羅する。クライアント、管理コンポーネント、評価コンポーネントはいずれもApache 2.0ライセンスで公開されている。

Pipetteが測定するのは、1秒あたりの出力token数だけではない。入力長と出力長を固定し、prompt cachingとearly stoppingを無効化したうえで、1回のウォームアップ結果を破棄し、測定を5回繰り返す。また、実行前には温度とシステム負荷を確認する。提出記録にはモデルartifact、量子化形式、runtimeのバージョン、フラグ、ハードウェア、OSが保存されるため、同じモデル名を持つ異なるデプロイ成果物が混同されることはない。Rustクライアントは現在、llama.cpp、MLX、OpenVINO、vLLM、SGLangに接続でき、ネイティブのiOSおよびAndroidアプリも用意されている。

初回のiPhone 17 Proの結果では、41件の量子化buildのうち33件が正常に動作した。標準の1,024-token入力、256-token出力テストにおいて、LFM2.5-2.6Bは8.0秒と2.3GBのメモリを要した。一方、同じ品質スコアのNanbeige4.2-3Bは21.4秒と4.0GBを必要とした。この結果は、品質が近くてもデプロイコストが同程度とは限らないことを示している。

解釈上の最大の落とし穴は、品質と性能が同一のオンデバイス実行で測定されているわけではない点だ。BFCL、IFBench、AA-Omniscience、GPQA Diamond、MATH-500による品質評価では同じ量子化buildを使用するものの、評価結果はH100リファレンスシステム上で生成される。デバイス上で測定されるのは速度とメモリだけである。さらに、iOSはMetalを使用する一方、現在のAndroid経路は主にCPUを使用しており、メモリの計測方法や熱条件も異なる。現時点で最も信頼できるのは、同一デバイス上で構成を比較することであり、ランキングを根拠に特定のスマートフォンやruntimeが全面的に優れていると主張することではない。