代理應用與開發工具
Lumae、動画エディターと同じ取り消し可能なコマンド群をMCPツールとして直接公開
macOS向けベータ版のLumaeでは、エージェントがタイムラインを読み取り、カーソルのクリック位置に基づいてズームを配置し、フレームをプレビューして動画を書き出せる。すべての変更にはGUIと同じアトミックコマンドとundo履歴が使われる。メディア処理はローカルにとどまる一方、モデルに見せるフレームは接続先のエージェントサービスへ送信され、現時点では独立したセキュリティ監査も行われていない。

最近、開発者コミュニティで注目を集めているLumaeは、マウス操作の自動化でインターフェースを操るのではなく、動画エディターのデータモデル内にエージェント連携を組み込んでいる。アプリ内の分割、移動、トリミング、速度変更、字幕、ナレーション、カメラズームは、もともとシリアライズ可能なコマンドとして実装されている。内蔵の`lumae-mcp` helperは、stdio経由でこれらと同じコマンド群をCodex、Claude Code、CursorなどのMCP clientに提供する。`edit_project`は複数のコマンドをアトミックにまとめ、単一のundo stepとして扱える。`preview_edit`はプロジェクトへ書き込まずに事前検証して結果を返すため、エージェントが途中で失敗して不整合なタイムラインを残すリスクを軽減する。
エージェントは、動画全体だけを見て推測する必要はない。`get_project`は各clipのメディア時間、タイムライン上の位置、字幕、ズーム区間に加え、録画中に行われたカーソルクリックの時刻と画面座標を返す。そのため、特定の操作の前後にauto-zoomを直接作成できる。視覚的な判断が必要な場合、`render_frame`で合成後または元のフレームを取得でき、`sample_frames`は複数の時点をラベル付きグリッドに配置する。編集完了後は、`export_project`がGUIと同じrendererを使用してH.264またはHEVCファイルを生成する。この「構造化された状態と低コストのサンプリングフレーム」を組み合わせる設計は、動画全体をマルチモーダルコンテキストに投入する方法よりも、反復的に作業するエージェントに適している。
ただし、プライバシーの境界は明確に説明する必要がある。録画、レンダリング、Apple音声モデルによる文字起こしはすべてMac上でローカルに実行され、編集によって元のメディアが再エンコードされることもない。しかし、エージェントが閲覧を要求したJPEGフレームは、実際に接続されているモデルサービスへ送信されるため、常にデバイス内にとどまるわけではない。この製品はまだbetaで、対応OSはmacOS 26のみ。録画とスクリーンショットの操作は、まだエージェントには公開されていない。また、sandboxによって出力先は`~/Movies`に制限されている。さらに、GitHub repositoryは主にドキュメントと署名済みバイナリリリースを配布するためのものであり、ダウンロード可能であることを完全なopen sourceと誤解してはならない。未公開の製品画面を扱うチームは、事前にMCP client、モデルプロバイダーのデータポリシー、およびツール権限を確認すべきだ。