ホームへ戻る

生成式介面/世界模型

Runway Solaris、プログラムによるインターフェースをフレーム単位の生成で置き換えるも、テキスト、状態管理、アクセシビリティにはなお課題

RunwayのSolarisは、クリック、ドラッグ、テキスト入力を動画モデルへの条件信号として直接扱い、次の720pインターフェース画面をリアルタイムで合成する。この研究プレビューは、HTML/CSSでインタラクションを記述しない可能性を示す一方、レイテンシ、コスト、モデルの重み、再現可能な評価はまだ公開されていない。

Lucash · CC BY-SA 3.0 · Image source
zh-Hant

Runwayは8月31日、Solarisを初の「Interface World Model」と位置付けて発表した。モデルにまずHTML、CSS、JavaScriptを生成させる手法とは異なり、Solarisは現在の画面とユーザーによるクリック、ドラッグ、入力を条件として扱い、次のフレームを直接予測する。そのため、インターフェースは固定されたDOMと事前に記述されたイベントハンドラーではなく、継続的に生成されるピクセルストリームとなる。

基盤には、Gen-4.5動画モデルを改変したものが使われている。Runwayによると、チームはまず、動画全体を一括処理する拡散方式を、既存の画面のみに依存する自己回帰生成へ変更した。次に、数十回のデノイジング処理を数ステップへ蒸留し、最後に高速化したモデル自身の出力を使って継続的に学習させることで、長時間のインタラクションにおける品質ドリフトを抑えた。別の言語モデルが意図の解釈、シーン遷移の決定、レンダリング用プロンプトの生成を担当し、「LLMが推論し、世界モデルがレンダリングする」という二層アーキテクチャを構成している。

公式評価では、250人の参加者と30種類のインタラクションを通じて、約7,500件のペア比較による判定を収集した。Claude Opus 5が生成したプログラムベースのバージョンと比較して、Solarisは指示追従で61%、自然な挙動で71%の支持を得た。しかし、これはベンダーが設計した主観評価であり、テストセット、レイテンシ分布、ハードウェア、失敗率は公開されていない。また、決済やフォーム検証など、決定論的なビジネスロジックを正確に実行できることを証明するものでもない。

より直接的な制約として、テキスト生成は依然として不安定であり、長時間のセッションでは意味的ドリフトが蓄積する可能性がある。さらに、純粋なピクセルベースのインターフェースには、スクリーンリーダー、キーボードナビゲーション、自動テストが依存する構造ツリーが存在しない。Solarisは現在、パートナーからの申請のみを受け付けており、API、価格、一般公開日は発表されていない。エンジニアリングチームは今後、監査可能な状態、イベントリプレイ、権限境界、構造化されたアクセシビリティレイヤーが提供されるかを注視すべきだ。それまでは、従来型アプリケーションの汎用的な代替というより、動的な体験やエージェントの訓練環境に近い存在と言える。

出典

  1. Introducing Solaris
  2. Runway Solaris Launches: App Interfaces Now Run as Live Video, Zero Code