モーションリターゲティング2026/4/1arXiv:2604.27583

乳児からヒューマノイドへのモーションリターゲティングによる一人称感覚運動経験のシミュレーション

Simulating Infant First-Person Sensorimotor Experience via Motion Retargeting from Babies to Humanoids

単一のビデオから乳児の3D姿勢を復元し、物理・仮想ヒューマノイドへモーションを転写して、固有受容感覚・触覚・視覚などのマルチモーダル感覚運動データを生成する枠組みを提案した。

詳しい要約

1. どんなもの？

- 乳児の一人称 sensorimotor 体験を模擬する枠組み - 単一動画から乳児の骨格と 3D pose を再構成 - 再構成した運動を複数の developmental platform に retargeting - 物理 iCub robot - 仮想 simulator: pyCub, EMFANT, MIMo - 各 embodiment 上で再現し、proprioception (joints, muscles), touch, vision を含む多感覚ストリームを生成 - 最良一致 embodiment では sub-centimeter 精度を達成 - 乳児発達の多感覚解析や行動の自動 annotation を可能にする - code は https://github.com/ctu-vras/motion-retargeting/ で公開

2. 先行研究と比べてどこがすごい？

- 既存の human-to-humanoid motion retargeting は主に kinematics の再現に焦点 - 人間の運動に伴う豊かな sensorimotor 体験を無視していた - 本研究は乳児の運動を複数の embodiment に写像し、proprioception, touch, vision を含む多感覚体験を模擬 - 単一動画から乳児の 3D pose を再構成し、物理・仮想 humanoid 上で再現する点が新しい - 最良一致 embodiment で sub-centimeter 精度を達成し、多感覚解析と自動 annotation を可能にする

3. 技術・手法の肝は？

- 単一動画から乳児の身体構成を再構成 - 骨格構造を抽出 - 各フレームから full 3D pose を推定 - 再構成した運動を複数の developmental platform に retargeting - 物理 iCub robot - 仮想 simulator: pyCub, EMFANT, MIMo - retargeted motion を各 embodiment 上で再生 - proprioception (joints, muscles), touch, vision を含む simulated multisensory streams を生成 - 最良一致 embodiment では sub-centimeter 精度を達成

4. どうやって有効だと検証した？

- 最良一致 embodiment において retargeting が sub-centimeter 精度を達成 - 再現された運動から proprioception, touch, vision を含む多感覚ストリームを生成 - これにより乳児発達の豊かな多感覚解析と行動の自動 annotation が可能になることを示す - 具体的な評価指標やデータセット、被験者数などは要旨からは不明

5. 議論はある？

- 本枠組みは乳児の sensorimotor 体験への独自の窓を提供 - robotics, developmental science, 神経発達障害の早期検出への新しいツールを提供 - 限界や課題、倫理的議論については要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法として human-to-humanoid motion retargeting が挙げられる - 同分野の定番として developmental robotics, infant motor development, multimodal sensorimotor simulation に関する研究が次に読むべき候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Francisco M. López, Hoshinori Kanazawa, Ondrej Fiala, Yakov Balashov, Valentin Marcel, Lukas Rustler, Miles Lenz, Dongmin Kim, Yasuo Kuniyoshi, Jochen Triesch, Matej Hoffmann

分類: q-bio.NC, cs.RO

原文アブストラクト

Motion retargeting from humans to human-like artificial agents is becoming increasingly important as humanoid robots grow more capable. However, most existing approaches focus only on reproducing kinematics and ignore the rich sensorimotor experience associated with human movement. In this work, we present a framework for simulating the multimodal sensorimotor experiences of infants using physical and virtual humanoids. From a single video, our method reconstructs the infant's body configuration by extracting its skeletal structure and estimating the full 3D pose from each frame. Then we map the reconstructed motion onto several developmental platforms: the physical iCub robot and the virtual simulators pyCub, EMFANT and MIMo. Replaying the retargeted motions on these embodiments produces simulated multisensory streams including proprioception (joints and muscles), touch, and vision. For the best-matching embodiment, the retargeting achieves sub-centimeter accuracy and enables a rich multimodal analysis of infant development as well as enhanced automated annotation of behaviors. This framework provides a unique window into the infant's sensorimotor experience, offering new tools for robotics, developmental science, and early detection of neurodevelopmental disorders. The code is available at https://github.com/ctu-vras/motion-retargeting/.

arXivで原文を読む →arXiv概要ページ

乳児からヒューマノイドへのモーションリターゲティングによる一人称感覚運動経験のシミュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell