ヒューマノイド/映像生成/ゼロショット2026/3/1arXiv:2603.19709

ロボット中心の映像合成による形態整合的な人型ロボットインタラクション

Morphology-Consistent Humanoid Interaction through Robot-Centric Video Synthesis

人型ロボットの対話スキルを、ポリシー学習や人間の動作リターゲティングに頼らず、映像生成モデルでロボット自身の動作を合成し、そこから関節軌道を抽出して実行するゼロショット手法を提案した。

詳しい要約

1. どんなもの？

- ヒューマノイドロボットの全身移動インタラクションを、ロボット中心の生成ビデオ合成で実現するフレームワーク Dream2Act を提案。 - 三人称視点のロボットと対象物の画像を入力とし、video generation model で形態整合的な動作を想像（dream）する。 - 合成された dream から高忠実度 pose extraction system で物理的に実行可能なロボット固有の関節軌道を復元し、general-purpose whole-body controller で実行する。 - ロボット固有座標空間内で動作し、retargeting 誤差を回避し、タスク固有の policy training を不要にする zero-shot 手法。

2. 先行研究と比べてどこがすごい？

- 従来の学習ベース policy はデータ収集コストが高く、human-to-robot motion retargeting は human-centric pose estimation（例：SMPL）に依存し morphology gap を生む。 - 骨格スケールの不一致によりロボットへのマッピング時に深刻な空間的ずれが発生し、インタラクション成功率を損なう。 - Dream2Act はロボット中心の座標空間で動作するため retargeting 誤差を回避し、タスク固有の policy training も排除する。 - 実験では従来の retargeting が成功率 0% であるのに対し、Dream2Act は全体で 37.5% の成功率を達成。

3. 技術・手法の肝は？

- 三人称画像から video generation model を用いて、ロボットが形態整合的な動きでタスクを完了する様子を生成する。 - 生成された dream から high-fidelity pose extraction system により、物理的に実現可能なロボット固有の関節軌道を抽出する。 - 抽出された軌道を general-purpose whole-body controller で実行する。 - ロボット固有座標空間内でのみ動作し、retargeting を介さない。

4. どうやって有効だと検証した？

- Unitree G1 を用いて、4 つの全身移動インタラクションタスク（ball kicking, sofa sitting, bag punching, box hugging）で評価。 - Dream2Act は全体で 37.5% の成功率を達成し、従来の retargeting は 0% であった。 - retargeting は morphology gap により正しい物理的接触を確立できず、移動中に誤差が増幅するが、Dream2Act はロボット整合的な空間アラインメントを維持し、信頼性の高い接触形成とタスク完了を可能にする。

5. 議論はある？

- 従来の retargeting は morphology gap により物理的接触の確立に失敗し、特に移動中に誤差が深刻化する。 - Dream2Act はロボット整合的な空間アラインメントを維持することで、信頼性の高い接触形成とタスク完了を実現する。 - 成功率は 37.5% であり、完全ではないが retargeting の 0% と比較して大幅な改善を示す。 - 要旨からは、失敗事例や限界、計算コスト、一般化可能性についての詳細な議論は不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究：human-to-robot motion retargeting、human-centric pose estimation（例：SMPL）、learning-based policies。 - 関連手法：video generation models、general-purpose whole-body controller。 - 同分野の定番として、humanoid whole-body control、motion retargeting、generative video synthesis for robotics に関する論文が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weisheng Xu, Jian Li, Yi Gu, Bin Yang, Haodong Chen, Shuyi Lin, Mingqian Zhou, Jing Tan, Qiwei Wu, Xiangrui Jiang, Taowen Wang, Jiawen Wen, Qiwei Liang, Jiaxi Zhang, Renjing Xu

分類: cs.RO

原文アブストラクト

Equipping humanoid robots with versatile interaction skills typically requires either extensive policy training or explicit human-to-robot motion retargeting. However, learning-based policies face prohibitive data collection costs. Meanwhile, retargeting relies on human-centric pose estimation (e.g., SMPL), introducing a morphology gap. Skeletal scale mismatches result in severe spatial misalignments when mapped to robots, compromising interaction success. In this work, we propose Dream2Act, a robot-centric framework enabling zero-shot interaction through generative video synthesis. Given a third-person image of the robot and target object, our framework leverages video generation models to envision the robot completing the task with morphology-consistent motion. We employ a high-fidelity pose extraction system to recover physically feasible, robot-native joint trajectories from these synthesized dreams, subsequently executed via a general-purpose whole-body controller. Operating strictly within the robot-native coordinate space, Dream2Act avoids retargeting errors and eliminates task-specific policy training. We evaluate Dream2Act on the Unitree G1 across four whole-body mobile interaction tasks: ball kicking, sofa sitting, bag punching, and box hugging. Dream2Act achieves a 37.5% overall success rate, compared to 0% for conventional retargeting. While retargeting fails to establish correct physical contacts due to the morphology gap (with errors compounded during locomotion), Dream2Act maintains robot-consistent spatial alignment, enabling reliable contact formation and substantially higher task completion.

arXivで原文を読む →arXiv概要ページ

← 論文一覧