マニピュレーション2025/4/1arXiv:2504.16464

ManipDreamer: 行動木と視覚ガイダンスによるロボットマニピュレーション世界モデルの強化

ManipDreamer: Boosting Robotic Manipulation World Model with Action Tree and Visual Guidance

指示を行動木として表現し、深度と意味の視覚ガイダンスを組み合わせることで、ロボット操作の動画生成における指示追従性と視覚品質を向上させた世界モデルを提案。

詳しい要約

1. どんなもの？

- ロボット操作のための動画生成 world model「ManipDreamer」を提案する論文 - 指示文を action tree として表現し、tree node の embedding で world model を条件付けする - depth と semantic の visual guidance を統合する visual guidance adapter を導入する - 指示追従性と生成動画の視覚品質の両方を高めることを狙う

2. 先行研究と比べてどこがすごい？

- 先行の RoboDreamer は指示を下位 primitive に言語分解して条件付けするが、primitive 間の関係を考慮しない - 先行手法は depth や semantic などの visual guidance を活用しておらず、視覚品質の向上余地があった - ManipDreamer は action tree で primitive 間の関係を表現し、visual guidance adapter で depth と semantic を併用する点が新しい - 未見タスクで PSNR 19.55→21.05、SSIM 0.7474→0.7982、Flow Error 3.506→3.201 と RoboDreamer 比で改善

3. 技術・手法の肝は？

- 指示を action tree として表現し、各 tree node に embedding を割り当てる - 各指示の embedding は action tree を辿ることで取得し、world model の条件付けに用いる - depth と semantic の guidance を組み合わせる visual guidance adapter を world model に互換な形で導入する - この adapter により動画生成の時間的一貫性と物理的一貫性を高める

4. どうやって有効だと検証した？

- ロボット操作ベンチマークで包括的に評価 - 既知タスクと未見タスクの両方で動画品質指標を評価 - 未見タスクで PSNR、SSIM、Flow Error の改善を RoboDreamer と比較して報告 - RLbench の 6 タスクで操作成功率が平均 2.5% 向上したと報告

5. 議論はある？

- 要旨からは不明（action tree 構築コストや visual guidance の一般性に関する議論は明示されていない） - 未見タスクでの改善は示されるが、失敗要因や限界については要旨からは不明

6. 次に読むべき論文は？

- RoboDreamer（本論文の主要比較対象） - action tree を用いた指示分解・compositional instruction-following の関連研究 - depth / semantic guidance を用いた video generation や world model の関連研究 - RLbench を用いたロボット操作の world model 評価研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ying Li, Xiaobao Wei, Xiaowei Chi, Yuming Li, Zhongyu Zhao, Hao Wang, Ningning Ma, Ming Lu, Shanghang Zhang

分類: cs.RO, cs.AI

原文アブストラクト

While recent advancements in robotic manipulation video synthesis have shown promise, significant challenges persist in ensuring effective instruction-following and achieving high visual quality. Recent methods, like RoboDreamer, utilize linguistic decomposition to divide instructions into separate lower-level primitives, conditioning the world model on these primitives to achieve compositional instruction-following. However, these separate primitives do not consider the relationships that exist between them. Furthermore, recent methods neglect valuable visual guidance, including depth and semantic guidance, both crucial for enhancing visual quality. This paper introduces ManipDreamer, an advanced world model based on the action tree and visual guidance. To better learn the relationships between instruction primitives, we represent the instruction as the action tree and assign embeddings to tree nodes, each instruction can acquire its embeddings by navigating through the action tree. The instruction embeddings can be used to guide the world model. To enhance visual quality, we combine depth and semantic guidance by introducing a visual guidance adapter compatible with the world model. This visual adapter enhances both the temporal and physical consistency of video generation. Based on the action tree and visual guidance, ManipDreamer significantly boosts the instruction-following ability and visual quality. Comprehensive evaluations on robotic manipulation benchmarks reveal that ManipDreamer achieves large improvements in video quality metrics in both seen and unseen tasks, with PSNR improved from 19.55 to 21.05, SSIM improved from 0.7474 to 0.7982 and reduced Flow Error from 3.506 to 3.201 in unseen tasks, compared to the recent RoboDreamer model. Additionally, our method increases the success rate of robotic manipulation tasks by 2.5% in 6 RLbench tasks on average.

arXivで原文を読む →arXiv概要ページ

ManipDreamer: 行動木と視覚ガイダンスによるロボットマニピュレーション世界モデルの強化

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell