開放模型與代理
LLaDA 2.2、生成途中でトークンを追加・削除できる拡散モデルへ――反復修正可能なエージェントループを狙う
inclusionAIは、Levenshtein Editingによって並列デコード中の挿入・削除・置換を可能にした100B級モデル「LLaDA2.2-flash」を公開した。一部のエージェント評価とスループットでは自社の自己回帰ベースラインを上回ったものの、コード修復や関数呼び出しの精度では依然として後れを取り、サービス対応もまだ整っていない。
Ant Group傘下のinclusionAIは7月27日、拡散言語モデルをエージェントに利用する際の構造的な弱点を補うことを目指し、LLaDA2.2-flashを正式に公開した。従来の自己回帰モデルは左から右へtokenを確定していく。一般的なテキスト拡散モデルは並列デノイジングが可能な一方、環境からエラーが返された後に既存シーケンスの長さを変更することは不得手だった。LLaDA 2.2はLevenshtein Editingを導入し、保持と置換に加えて、`DELETE`と`INSERT`でtokenを制御する。これにより、冗長な部分を削除したり、新たな編集可能位置を作成したりでき、生成過程でドラフトの構造を書き換えられる。
モデルは、非埋め込みパラメータ数100B、32層、128K contextのMoEアーキテクチャを採用する。チームはさらに、エキスパートの活性化を拡散ブロック単位に制限するBlock Routingを提案した。学習面ではL-EBPOを用い、エージェント環境からの報酬によってブロック単位の方策を最適化する。単一ターンのテキスト品質だけを改善するのではなく、複数ターンにわたるツール利用で失敗したアクションを修正できるようにすることが狙いだ。
公式評価ではClaude Code scaffold、固定128K context、5回の評価結果の平均を使用し、SWE-bench Verifiedで49.28、BFCL-V4で60.78、τ²-Benchで80.33と報告している。自社の自己回帰モデルLing-2.6-flashとの比較では、LLaDA 2.2はτ²-Bench、MCP-Atlas、一部のエージェントタスクでわずかに上回った一方、SWE-bench Verified、Multilingual、BFCL-V4では下回った。スループットの差はより明確で、BFCL-V4ではLLaDA 2.2が703.82 token/s、Lingが331.5 token/sだった。ただし、この比較ではハードウェア、並列度、エンドツーエンドレイテンシーが完全には開示されていない。また、Lingの一部スコアには異なるscaffoldが使われており、厳密に同一条件での優劣とは見なせない。
Apache 2.0ライセンスの重みと技術レポートはすでに公開されている。Transformersで利用するには`trust_remote_code`を有効にする必要がある。モデルカードでは、長いcontextにはSGLangを使用すべきだとしている一方、デプロイメントの項目ではサポートがまだ準備中と記されている。エンジニアリングチームは今後、正式なservingコア、KV／prefillコスト、構造化出力の安定性、そして独立したテストで複数ターンの自己修正能力を再現できるかを注視すべきだ。既存研究では、拡散モデルを用いたエージェントがリトライループに陥りやすく、不正なJSONを生成することも指摘されている。LLaDA 2.2がこうした制約を本当に解消したかどうかは、直接比較による検証がなお必要だ。