PDDLCoder、エージェントによるPDDLの反復修正で、未見のプランニング問題106問における実行可能成功率89.6％を達成

大規模言語モデルが長期プランニングを行う際、前提条件に違反したり、必要な手順を省略したり、目標に到達できなかったりする行動系列を生成することが多い。PDDLCoderは、モデルを「形式化エージェント」として位置づける。自然言語の記述に基づいてPDDLのdomainファイルとproblemファイルを構築し、それをFast Downwardに渡してプランを探索する。エージェントは最大50ラウンド実行でき、ファイル編集、VALによる構文チェック、プランナーによる変換、プラン生成、セマンティックフィードバックなど、8種類のツールを自ら選択できる。固定的な修復パイプラインとは異なり、構文エラー、解なしのモデル、意味的に実行不能なプランをそれぞれ個別に処理する。

研究チームは同時に、23ドメイン、711問からなるNL-pddlgymも公開した。テストセットでは、Elevator、Hanoi、Ring and Peg、Satelliteの4ドメインを完全に保留し、計106問を収録している。最長のプランは557ステップに達する。評価では、生成テキストやPDDLと参照解答との類似度を比較するのではなく、プランを1ステップずつpddlgym環境に入力する。すべてのアクションが実行可能で、かつ最終状態が目標を満たした場合にのみ成功と判定される。DeepSeek V4 Flashを使用した場合、PDDLCoderは95問、すなわち89.6％を解いた。同じテストにおける直接的なchain-of-thoughtプランニングは74.5％、既存の形式化手法を適応した方式は最高でも45.3％だった。

この改善にはコストも伴う。成功した設定では平均約17万3,000入力tokenが使用され、その大半は完全なPDDL、プラン、ツール出力を繰り返しモデルへ送り返すことに起因する。モデル間の差も非常に大きい。Gemma 4 31Bの成功率は61.3％、gpt-oss-120Bは52.8％、Qwen3.6-35B-A3Bはわずか10.4％で、ほかに評価された2モデルは0％だった。これは、シンボリックプランナーが保証できるのは、プランが「モデル自身の記述した世界」に適合することだけであり、その世界が自然言語を忠実に反映しているとは保証できないことを意味する。

エンジニアリングの観点で注目すべきなのは、この実行可能な中間表現を、確率的、部分観測可能、あるいは連続状態を持つ環境へ拡張できるかどうかだ。現時点の結果では、各モデル、問題、設定につき実行は1回のみで、サンプリングによる変動は推定されていない。また、テスト対象も保留された4ドメインに限られる。一方、著者らはコード、Docker設定、プロンプト、問題ごとの結果をMIT Licenseで公開している。外部チームはそのまま再実行し、高いtokenコストに見合う安定した効果が得られるかを検証できる。