マニピュレーション2025/12/1arXiv:2512.24766

Dream2Flow: 3Dオブジェクトフローで動画生成とオープンワールド操作をつなぐ

Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow

生成動画から3Dオブジェクトの動きを再構成し、それを中間表現として軌道追跡問題に変換することで、実演なしに多様な物体を操作できるフレームワークを提案。

詳しい要約

1. どんなもの？

- 生成video modelingをopen-world manipulationに接続する枠組み「Dream2Flow」 - 初期画像とtask instructionから生成videoを得る - 生成videoから3D object flowを再構成し、操作をobject trajectory trackingとして定式化 - 対象はrigid, articulated, deformable, granularを含む多様な物体カテゴリ - 実世界・simulationの両方で検証し、可視化を公開

2. 先行研究と比べてどこがすごい？

- 生成videoは物理的相互作用のzero-shot推論に有用だが、人間の動きをrobotのlow-level actionへ変換するのが課題 - 既存のvideo-to-action変換に対し、3D object flowを中間表現として用いる点が特徴 - state changeとそれを実現するactuatorを分離しembodiment gapを克服 - task-specific demonstrationなしのzero-shot guidanceを可能にすると主張

3. 技術・手法の肝は？

- 初期画像とtask instructionからvideoを生成 - 生成videoから3D object motionを再構成 - manipulationをobject trajectory trackingとして定式化 - 再構成した3D object flowをtrajectory optimizationまたはreinforcement learningで実行可能なlow-level commandへ変換 - 物体状態変化とactuatorを分離する設計が肝

4. どうやって有効だと検証した？

- simulationおよびreal-world experimentsで検証 - rigid, articulated, deformable, granularを含む多様な物体カテゴリで評価 - trajectory optimizationとreinforcement learningの両経路でlow-level commandへ変換 - 詳細な定量結果・比較条件は要旨からは不明

5. 議論はある？

- 3D object flowがvideo生成モデルをopen-world robotic manipulationへ適応する汎用かつscalableなinterfaceであると議論 - embodiment gapをstate変化とactuatorの分離で克服する点を主張 - 限界・失敗事例・計算コスト・汎化範囲の詳細は要旨からは不明

6. 次に読むべき論文は？

- 生成video modelingを用いたopen-world manipulationの先行研究（要旨では個別名の参照なし） - video generationモデル（例: video diffusion model） - 3D object flow / object trajectory tracking - trajectory optimization - reinforcement learning - 関連手法の具体名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Karthik Dharmarajan, Wenlong Huang, Jiajun Wu, Li Fei-Fei, Ruohan Zhang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Generative video modeling has emerged as a compelling tool to zero-shot reason about plausible physical interactions for open-world manipulation. Yet, it remains a challenge to translate such human-led motions into the low-level actions demanded by robotic systems. We observe that given an initial image and task instruction, these models excel at synthesizing sensible object motions. Thus, we introduce Dream2Flow, a framework that bridges video generation and robotic control through 3D object flow as an intermediate representation. Our method reconstructs 3D object motions from generated videos and formulates manipulation as object trajectory tracking. By separating the state changes from the actuators that realize those changes, Dream2Flow overcomes the embodiment gap and enables zero-shot guidance from pre-trained video models to manipulate objects of diverse categories-including rigid, articulated, deformable, and granular. Through trajectory optimization or reinforcement learning, Dream2Flow converts reconstructed 3D object flow into executable low-level commands without task-specific demonstrations. Simulation and real-world experiments highlight 3D object flow as a general and scalable interface for adapting video generation models to open-world robotic manipulation. Videos and visualizations are available at https://dream2flow.github.io/.

arXivで原文を読む →arXiv概要ページ

Dream2Flow: 3Dオブジェクトフローで動画生成とオープンワールド操作をつなぐ

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell