日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2509.10952

ImMimic: 人間動画からのドメイン横断模倣によるロボットマニピュレーション

ImMimic: Cross-Domain Imitation from Human Videos via Mapping and Interpolation

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画と少量のロボット実演を組み合わせ、DTWとMixUp補間でドメインギャップを埋めてロボットのマニピュレーションを学習する枠組みを提案。

詳しい要約

1. どんなもの?

- 人間の動画からロボットの manipulation を学習するための枠組み - 名称は ImMimic - embodiment-agnostic な co-training framework と位置づけ - 人間動画と少量の teleoperated robot demonstrations を併用 - 視覚・形態・物理の domain gap を橋渡しすることを狙う - 対象は実世界の 4 タスク - Pick and Place, Push, Hammer, Flip - 4 つの robotic embodiments で評価 - Robotiq, Fin Ray, Allegro, Ability

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 主張されている利点は以下 - 豊富な human videos を活用し、高コストな robot-specific data collection を代替 - 少量の teleoperated robot demonstrations と組み合わせる co-training - 視覚・形態・物理にまたがる domain gap を対象 - embodiment-agnostic を掲げ、複数 embodiment に適用 - 単純な直接模倣ではなく、mapping と interpolation で domain gap を緩和する点を特徴とする

3. 技術・手法の肝は?

- 核となる構成 - Dynamic Time Warping (DTW) を用いる - action-based または visual-based mapping で、retargeted human hand poses を robot joints へ対応付け - 対応付けた human と robot の trajectory ペアに MixUp interpolation を適用 - 設計上の着眼点 - retargeted human hand trajectories が informative な action labels になるとみなす - 補間により中間 domain を作り、co-training 中の滑らかな domain adaptation を促す - 詳細なネットワーク構成や損失関数は要旨からは不明

4. どうやって有効だと検証した?

- 実世界の 4 タスクで評価 - Pick and Place, Push, Hammer, Flip - 4 つの robotic embodiments で評価 - Robotiq, Fin Ray, Allegro, Ability - 評価指標 - task success rates - execution smoothness - 結果として、ImMimic が成功率と実行の滑らかさを改善し、domain gap の橋渡しに有効と報告 - ベースラインや被験者数などの詳細は要旨からは不明

5. 議論はある?

- 要旨で明示される議論・限界は要旨からは不明 - 想定される論点(要旨の範囲内) - 少量の teleoperated robot demonstrations への依存 - action-based と visual-based の mapping の使い分けや感度 - MixUp interpolation が作る中間 domain の妥当性 - 4 タスク・4 embodiment での結果の一般性 - 上記の具体的な検証や議論の有無は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として次を検討 - Dynamic Time Warping (DTW) - MixUp - co-training - human video からの imitation learning - motion retargeting - domain adaptation - 同分野の定番として、robot manipulation の imitation learning や human video を用いた learning from observation の代表的文献を参照するのが妥当(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yangcen Liu, Woo Chul Shin, Yunhai Han, Zhenyang Chen, Harish Ravichandar, Danfei Xu

分類: cs.RO

原文アブストラクト

Learning robot manipulation from abundant human videos offers a scalable alternative to costly robot-specific data collection. However, domain gaps across visual, morphological, and physical aspects hinder direct imitation. To effectively bridge the domain gap, we propose ImMimic, an embodiment-agnostic co-training framework that leverages both human videos and a small amount of teleoperated robot demonstrations. ImMimic uses Dynamic Time Warping (DTW) with either action- or visual-based mapping to map retargeted human hand poses to robot joints, followed by MixUp interpolation between paired human and robot trajectories. Our key insights are (1) retargeted human hand trajectories provide informative action labels, and (2) interpolation over the mapped data creates intermediate domains that facilitate smooth domain adaptation during co-training. Evaluations on four real-world manipulation tasks (Pick and Place, Push, Hammer, Flip) across four robotic embodiments (Robotiq, Fin Ray, Allegro, Ability) show that ImMimic improves task success rates and execution smoothness, highlighting its efficacy to bridge the domain gap for robust robot manipulation. The project website can be found at https://sites.google.com/view/immimic.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI