マニピュレーション2025/9/1arXiv:2509.05314

ManipDreamer3D：占有マップを考慮した3D軌道によるロボットマニピュレーション動画の生成

ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory

入力画像から3D占有マップを再構成し、衝突を避けた3Dエンドエフェクタ軌道を計画して、その軌道を条件に拡散モデルでロボットのピックアンドプレース動画を生成する手法を提案した。

詳しい要約

1. どんなもの？

- 入力画像とテキスト指示から、3D-awareなロボットマニピュレーション動画を生成するフレームワーク「ManipDreamer3D」 - 3D trajectory planningと再構成した3D occupancy map、新規のtrajectory-to-video diffusion modelを組み合わせる - pick-and-place動画の生成を対象とする

2. 先行研究と比べてどこがすごい？

- 既存のdiffusion-basedなロボット動画生成は主に2D trajectoryに依存し、3D空間の曖昧性(3D spatial ambiguity)を抱える - 本手法は3D trajectory planningとoccupancy mapを導入し、3D-awareな生成を実現 - 人間の介入を大幅に削減しつつ、既存手法より優れた視覚品質を達成

3. 技術・手法の肝は？

- 入力画像から3D occupancy representationを再構成 - 衝突を回避しつつ経路長を最小化する最適化された3D end-effector trajectoryを計算 - latent editing techniqueで初期画像latentと最適化3D trajectoryから動画系列を生成 - 専用に学習したtrajectory-to-video diffusion modelを条件付けに用いる

4. どうやって有効だと検証した？

- 実験により既存手法と比較して優れた視覚品質(superior visual quality)を示した - 詳細な評価指標・データセット・比較手法は要旨からは不明

5. 議論はある？

- 3D spatial ambiguityの解消と人間介入の削減を主張 - 限界や失敗ケース、計算コスト等の議論は要旨からは不明

6. 次に読むべき論文は？

- 2D trajectoryに依存する既存のdiffusion-basedロボット動画生成手法(具体名は要旨からは不明) - diffusion modelによるロボットマニピュレーション動画生成の関連研究 - 3D occupancy reconstructionおよびtrajectory planningの関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ying Li, Xiaobao Wei, Xiaowei Chi, Yuming Li, Zhongyu Zhao, Hao Wang, Ningning Ma, Ming Lu, Sirui Han, Shanghang Zhang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Data scarcity continues to be a major challenge in the field of robotic manipulation. Although diffusion models provide a promising solution for generating robotic manipulation videos, existing methods largely depend on 2D trajectories, which inherently face issues with 3D spatial ambiguity. In this work, we present a novel framework named ManipDreamer3D for generating plausible 3D-aware robotic manipulation videos from the input image and the text instruction. Our method combines 3D trajectory planning with a reconstructed 3D occupancy map created from a third-person perspective, along with a novel trajectory-to-video diffusion model. Specifically, ManipDreamer3D first reconstructs the 3D occupancy representation from the input image and then computes an optimized 3D end-effector trajectory, minimizing path length while avoiding collisions. Next, we employ a latent editing technique to create video sequences from the initial image latent and the optimized 3D trajectory. This process conditions our specially trained trajectory-to-video diffusion model to produce robotic pick-and-place videos. Our method generates robotic videos with autonomously planned plausible 3D trajectories, significantly reducing human intervention requirements. Experimental results demonstrate superior visual quality compared to existing methods.

arXivで原文を読む →arXiv概要ページ

ManipDreamer3D：占有マップを考慮した3D軌道によるロボットマニピュレーション動画の生成

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell