SimGenHOI: 生成モデルと強化学習による物理的にリアルな全身ヒューマノイド-物体インタラクション
SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and Reinforcement Learning
拡散トランスフォーマーでテキストと物体形状から全身動作を生成し、強化学習による接触考慮型制御で貫通や足滑りを補正することで、物理的に実現可能なヒューマノイドの物体操作を生成するフレームワーク。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yuhang Lin, Yijia Xie, Jiahong Xie, Yuehao Huang, Ruoyu Wang, Jiajun Lv, Yukai Ma, Xingxing Zuo
分類: cs.RO, cs.AI
原文アブストラクト
Generating physically realistic humanoid-object interactions (HOI) is a fundamental challenge in robotics. Existing HOI generation approaches, such as diffusion-based models, often suffer from artifacts such as implausible contacts, penetrations, and unrealistic whole-body actions, which hinder successful execution in physical environments. To address these challenges, we introduce SimGenHOI, a unified framework that combines the strengths of generative modeling and reinforcement learning to produce controllable and physically plausible HOI. Our HOI generative model, based on Diffusion Transformers (DiT), predicts a set of key actions conditioned on text prompts, object geometry, sparse object waypoints, and the initial humanoid pose. These key actions capture essential interaction dynamics and are interpolated into smooth motion trajectories, naturally supporting long-horizon generation. To ensure physical realism, we design a contact-aware whole-body control policy trained with reinforcement learning, which tracks the generated motions while correcting artifacts such as penetration and foot sliding. Furthermore, we introduce a mutual fine-tuning strategy, where the generative model and the control policy iteratively refine each other, improving both motion realism and tracking robustness. Extensive experiments demonstrate that SimGenHOI generates realistic, diverse, and physically plausible humanoid-object interactions, achieving significantly higher tracking success rates in simulation and enabling long-horizon manipulation tasks. Code will be released upon acceptance on our project page: https://xingxingzuo.github.io/simgen_hoi.
関連論文
- Pixel-UMI:センサ付き人間デモンストレーションから環境認識型全身マニピュレーションを学習する全身マニピュレーション
- 全身巧みさ全身マニピュレーション
- RoboSpan: 遠隔操作による高自由度全身移動マニピュレーションのためのモジュラー協調ポリシー学習全身マニピュレーション
- PanTact: ウェアラブル接触インターフェースで全身器用さを教える全身マニピュレーション
- Praxis: 一人称視点動画から物理的相互作用の事前知識を蒸留し、汎用的な全身マニピュレーションを実現全身マニピュレーション
- 全身UMI:実時間動作生成によるヒューマノイド全身マニピュレーションへのUMIスキル転移全身マニピュレーション
