データ合成/拡散モデル2025/12/1arXiv:2512.11797

AnchorDream: 動画拡散モデルを活用した身体性を考慮したロボットデータ合成

AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis

ロボットの動作レンダリングを条件に事前学習済み動画拡散モデルを再利用し、身体性の一貫性を保ちながら多様なロボット実演データを合成する手法を提案。

詳しい要約

1. どんなもの？

- ロボット模倣学習のためのデータ合成手法 AnchorDream を提案する論文。 - 事前学習済み video diffusion model を転用した embodiment-aware な world model。 - ロボットの motion rendering を条件として diffusion を制御し、対象物や環境を合成する。 - 少数の human teleoperation demonstrations から大規模・多様・高品質なデータセットへ拡張する。 - 明示的な環境モデリングを必要としない点を特徴とする。

2. 先行研究と比べてどこがすごい？

- 実世界データ収集は高コスト、simulator は多様性・忠実度が限られ sim-to-real gap が大きいという課題に対処。 - 既存の生成手法は視覚的外観のみを変え新規行動を生まない、または embodiment の不整合で不自然な動きを生む問題があった。 - AnchorDream は robot motion renderings を条件に embodiment を anchor し、hallucination を抑制しつつ運動学的に整合した物体・環境を合成する。 - 少数の teleoperation データから大規模データへ拡張できる点が先行研究と異なる。

3. 技術・手法の肝は？

- 事前学習済み video diffusion model を world model として転用する。 - diffusion process を robot motion renderings で条件付けし、embodiment を anchor する。 - これによりロボットの kinematics と整合する物体・環境を合成し、hallucination を防ぐ。 - 少数の human teleoperation demonstrations を入力とし、明示的な環境モデリングなしでデータを拡張する。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した？

- 生成データが下流の policy learning を一貫して改善することを実験で示す。 - simulator benchmarks で相対 36.4% の改善。 - 実世界研究では性能がほぼ倍増。 - 具体的なベンチマーク名・タスク・評価指標は要旨からは不明。

5. 議論はある？

- 生成 world model を robot motion に grounding することが模倣学習のスケーリングへの実用的道筋になり得ると主張。 - 限界・失敗事例・計算コスト・データ品質の詳細な議論は要旨からは不明。 - sim-to-real gap や embodiment 整合性への定量的な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている既存の生成データ合成手法や video diffusion model 関連研究（具体名は要旨からは不明）。 - 同分野の定番として imitation learning（例: behavior cloning）や sim-to-real transfer に関する研究。 - world model を用いたロボット学習に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junjie Ye, Rong Xue, Basile Van Hoorick, Pavel Tokmakov, Muhammad Zubair Irshad, Yue Wang, Vitor Guizilini

分類: cs.RO, cs.CV

原文アブストラクト

The collection of large-scale and diverse robot demonstrations remains a major bottleneck for imitation learning, as real-world data acquisition is costly and simulators offer limited diversity and fidelity with pronounced sim-to-real gaps. While generative models present an attractive solution, existing methods often alter only visual appearances without creating new behaviors, or suffer from embodiment inconsistencies that yield implausible motions. To address these limitations, we introduce AnchorDream, an embodiment-aware world model that repurposes pretrained video diffusion models for robot data synthesis. AnchorDream conditions the diffusion process on robot motion renderings, anchoring the embodiment to prevent hallucination while synthesizing objects and environments consistent with the robot's kinematics. Starting from only a handful of human teleoperation demonstrations, our method scales them into large, diverse, high-quality datasets without requiring explicit environment modeling. Experiments show that the generated data leads to consistent improvements in downstream policy learning, with relative gains of 36.4% in simulator benchmarks and nearly double performance in real-world studies. These results suggest that grounding generative world models in robot motion provides a practical path toward scaling imitation learning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧