VSPG、バックプロパゲーションなしで離散行動actorを更新し、SustainGymの2評価でDNNベースラインを上回る

Vector-Symbolic Policy Gradient（VSPG）は、超次元計算によって離散行動方策を書き換える手法だ。システムは固定エンコーダで状態を高次元の単位ベクトルにマッピングし、各行動には単位ハイパーベクトルを対応させる。両者の内積に温度パラメータを乗じてsoftmax logitsを生成する。研究では、標準的なpolicy-gradient surrogateの下で、actorの更新を厳密に `C ← row-normalize(C + ηΛᵀS)` と表せることを証明した。これは、アドバンテージで重み付けした状態ベクトルを選択された行動に重ね合わせ、競合する行動から対応する成分を差し引く更新である。

この書き換えにより、actorはautogradを使用する必要がなく、AdamやSGDなどのオプティマイザ状態を保持する必要もない。各行動ベクトルは、固定サイズの圧縮kernel memoryとしても解釈でき、過去の状態から得られたアドバンテージの証拠を同一の表現内に重ね合わせる。推論では各行動について内積を1回計算するだけでよく、訓練サンプル数が増えてもメモリ使用量は増加しない。論文はバイナリハイパーベクトルについて、理論的な境界も示している。類似度マージンが一定の場合、ランダムなビット反転によってgreedy actionが変化する確率は、ベクトル次元の増加に伴って指数関数的に低下する。

実験は、古典制御、MiniGrid、マルチエージェントのSustainGymを対象としている。建物制御を500エピソード訓練した後、FHRRまたはRFFでエンコードしたVSPGは、hot-dryおよびwarm-humidの気候条件で、1ステップ当たりの平均リターンとしてそれぞれ-7.28と-7.11を達成し、DNNの-13.41と-12.12を上回った。数値は高いほど良い。著者らはactorを1、2、4、8ビットに量子化したうえで、格納されたビットをランダムに反転させる実験も行った。全体としてVSPGの性能低下は、ニューラルactorや元の線形actorより緩やかだった。公開コードには、完全な訓練スクリプト、ハイパーパラメータ探索の設定、ビットエラー試験が含まれている。

制約として、「バックプロパゲーション不要」なのはVSPGのactorに限られる。SustainGymの集中型criticは、訓練中もGAEを推定する。また、エンコーダは軽視できる前処理ではない。Basis-VSPGのリターンは2種類の気候条件で-40.36と-79.65まで低下し、RFFも、より難しいDoorKeyタスクで失敗する場合があった。今後は、実際のエネルギー消費量、メモリ使用量、ハードウェア上でのフォールトトレランス上の利点を比較するとともに、この手法が高次元または連続行動へ拡張できるかを検証する必要がある。