PELM、DVFSと投機的デコーディングを協調制御し、エッジLLMの消費電力を最大52.4%削減

エッジLLMのボトルネックは演算能力だけではない。長時間の生成では熱が蓄積してクロック低下を招くため、常に最高クロックで動作させても、必ずしも最速または最も省電力になるとは限らない。SenSys 2026に採択されたPELMは、この問題をハードウェアとデコーダーをまたぐ協調制御として捉える。CPU／GPUの動的電圧・周波数制御（DVFS）に加え、システムは投機的デコーディングの構成とターゲットモデルの検証深度も変更する。

投機的デコーディングでは、まず小規模なドラフトモデルがtokenを提案し、それをターゲットモデルが検証する。PELMの中心的な着眼点は、すべてのtokenが同じ深度で完全に検証される必要はないということだ。そのため、オンラインコントローラーは速度、使用率、消費電力、温度などのフィードバックに基づいて動作を選択し、出力品質、レイテンシ、エネルギー消費の間を最適化する。チームは複数のハードウェア、モデル、データセットで実験を行い、既存の電力管理手法と比較した結果、同等のタスク性能を維持しながら、最大23.1%の高速化と52.4%のエネルギー消費削減を報告した。

エンジニアリング上の重要性は、省エネルギー戦略を「チップのクロックだけを管理する」ものから、「tokenごとの推論コストも同時に変える」ものへ拡張できる点にある。ファンレス、バッテリー駆動、または長時間稼働するデバイスでは、単純な量子化よりもサーマルスロットリングへの対処に有効な可能性がある。チームは実験用コードを公開しており、リファレンス環境にはJetPack 6.2.1、PyTorch 2.8.0、Transformers 4.53.2が指定されている。起動スクリプトでは、ファン、温度制御、DVFSも設定される。

ただし、52.4%は各種設定の中で得られた最良値であり、すべてのワークロードに対する平均的な保証ではない。また、検証深度を動的に下げるため、品質が「同等」といえるかどうかは使用するベンチマークに左右される。今後は、インタラクティブなトラフィック、長いコンテキスト、バックグラウンドプロセス、異なるSoCに直面してもコントローラーが安定して動作するか、さらに省エネルギー化に伴ってテールレイテンシやまれな出力エラーが増加しないかを検証する必要がある。