Imagine2Real: ビデオ生成事前知識によるヒューマノイドと物体のゼロショット対話の実現
Imagine2Real: Towards Zero-shot Humanoid-Object Interaction via Video Generative Priors
3Dデータ不足を補うため、ビデオ生成モデルから得た4D点軌跡と少数の重要点追跡を用いて、幾何モデル不要でヒューマノイドと物体の対話動作をゼロショットで生成するフレームワークを提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jiahe Chen, ZiRui Wang, Feiyu Jia, Xiao Chen, Xiaojie Niu, Weishuai Zeng, Tianfan Xue, Xiaowei Zhou, Jiangmiao Pang, Jingbo Wang
分類: cs.RO, cs.CV
原文アブストラクト
Whole-body Humanoid-Object Interaction (HOI) is bottlenecked by the scarcity of high-fidelity 3D data. While video generative priors offer a promising alternative, existing methods suffer from \textit{Representation Misalignment} due to their reliance on geometric priors (e.g., explicit CAD models), and \textit{Retargeting Complexity} arising from intensive morphing and morphological mismatch. We propose Imagine2Real, a zero-shot HOI framework for flexible, geometry-free interaction. To resolve misalignment, we formulate robot and object motions as unified 4D point trajectories. To overcome retargeting complexity, our Keypoints Tracker tracks only sparse critical points (base, hands, and object), entirely bypassing the error-amplifying retargeting process. To maintain natural gaits despite these sparse signals, we utilize the latent space of a Behavior Foundation Model (BFM) as the tracker's search domain. Using a progressive training strategy, Imagine2Real learns robust behaviors with simple tracking rewards, enabling zero-shot physical deployment within a motion capture(mocap) system.
関連論文
- ReGATE：再帰ゲート付き視覚融合による反応型ヒューマノイド物体操作ヒューマノイド操作
- ReContact: 動画から人間の接触を再構築・再ターゲティングする接触リッチなヒューマノイド操作ヒューマノイド操作
- 身体性を考慮した手物体インタラクション生成によるヒューマノイド巧みな操作ヒューマノイド操作
- BiGym 2.0：ヒューマノイド家庭内操作のための学習済み・エージェント開発ポリシーのベンチマークヒューマノイド操作
- GenHOI: タスク固有の訓練なしに生成ビデオを模倣する接触を考慮したヒューマノイドと物体のインタラクションヒューマノイド操作
- 触覚ドリーミングによる多用途ヒューマノイド操作の学習ヒューマノイド操作
