日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2606.04811

Dream.exe: ビデオ生成モデルは実行可能なロボット操作を夢見ることができるか?

Dream.exe: Can Video Generation Models Dream Executable Robot Manipulation?

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルが生成した操作映像を物理シミュレータで実行可能なロボット軌道に変換し、実行成功率で物理世界の理解度を評価するフレームワークDream.exeを提案した。

詳しい要約

1. どんなもの?

- ビデオ生成モデルが物理法則を内在化しているかを評価する枠組み Dream.exe を提案。 - シーン画像とタスク記述から操作ビデオを合成し、動きをロボット軌道に変換、物理シミュレータで実行する video-to-execution pipeline。 - 視覚品質だけでなく実行可能性を測る grounding signal を得る。 - 8モデル(closed-source, open-source, robot-specific)を101の手動キュレーション操作タスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来のビデオ生成評価は視覚品質や FVD など仮想ドメインの指標に留まる。 - Dream.exe は生成ビデオを実際のロボット実行に落とし込み、物理理解を実行成功率で測る点が新しい。 - 視覚品質が実行可能性の予測に乏しいことを示し、標準的視覚評価では捉えられない能力次元を明らかにした。

3. 技術・手法の肝は?

- 入力:シーン画像+タスク記述。 - ビデオ生成モデルで操作ビデオを合成。 - 生成された動きをロボット軌道に変換。 - 物理シミュレータで軌道を実行し、実行成功を評価。 - 評価軸:visual quality, trajectory fidelity, execution success。 - タスクは物理的複雑さ3レベル、101タスク。

4. どうやって有効だと検証した?

- 8モデル(frontier closed-source, open-source, robot-specific)を対象に評価。 - 101の手動キュレーション操作タスク、3段階の物理複雑度で検証。 - 視覚品質、軌道忠実度、実行成功率を測定。 - 複数モデルで実行成功が観測され、インターネット規模データから学んだ生成事前分布が物理知識を符号化している可能性を示唆。 - 視覚品質と実行可能性の相関が低いことを確認。

5. 議論はある?

- 視覚品質が実行可能性の予測因子として不十分である点を指摘。 - 生成モデルが物理を完全に理解しているかは未解決。 - 実行成功が得られたモデルもあるが、その程度や限界は要旨からは不明。 - 評価パイプラインの一般化可能性やシミュレータと実機のギャップは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として video generation models, robot-specific models, video-to-execution pipeline が挙げられる。 - 同分野の定番として VideoGPT, Dreamer, RoboDreamer などが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Zhao, Kaiming Yang, Jifeng Zhu, Siyang Chen, Ziqi Wang, Weijia Wu, Kevin Qinghong Lin, Heng Wang, Mike Zheng Shou

分類: cs.CV

原文アブストラクト

Video generation models have made impressive strides in synthesizing visually compelling content, yet their outputs remain confined to the virtual domain. A natural question follows: how well do these models reflect the physical world when their generated videos leave the screen and enter reality? We propose robotic manipulation as a concrete, measurable window onto this question: if a model has truly internalized physical laws, the motion it depicts should translate into executable robot behavior. We introduce Dream$.$exe, an evaluation framework that operationalizes this criterion through a video-to-execution pipeline. Given a scene image and a task description, Dream$.$exe synthesizes a manipulation video, converts the generated motion into robot trajectories, and executes them in a physics simulator, yielding a grounding signal that purely visual metrics cannot offer. Using this pipeline, we evaluate 8 models spanning frontier closed-source generators, open-source generators, and robot-specific models. Our benchmark covers 101 manually curated manipulation tasks at three levels of physical complexity, measured across visual quality, trajectory fidelity, and execution success. Encouragingly, several models achieve measurable execution success, suggesting that generative priors learned from internet-scale data already encode meaningful physical knowledge. Yet visual quality proves a poor predictor of executability, exposing a dimension of model capability that standard visual evaluations do not capture. Dream$.$exe will be open-sourced at https://github.com/showlab/Dream.exe.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI