日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

クロスエンボディメント/模倣学習arXiv:2505.08787

UniSkill: クロスエンボディメント技能表現による人間動画の模倣

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの大規模な動画データからラベルなしで身体に依存しない技能表現を学習し、人間の動画プロンプトから抽出した技能をロボットのポリシーに転移させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 人間の動画から学習したスキルをロボットに転移する枠組み「UniSkill」の提案 - 外見や身体能力が異なる human と robot の embodiment gap を扱う - ラベルなしの大規模 cross-embodiment 動画から embodiment-agnostic な skill representation を学習 - 人間動画の prompt から抽出した skill を、robot データのみで学習した policy に転移 - simulation と real-world の両方で検証

2. 先行研究と比べてどこがすごい?

- 従来は shared scene・shared task の cross-embodiment dataset を用いて gap を橋渡し - しかし human と robot の aligned data を大規模に収集するのは容易でない - UniSkill はそのような aligned data を必要とせず、ラベルなし動画から skill を学習 - human video prompt を robot policy へ転移できる点が新規 - 未見の video prompt でも適切な action 選択を導けることを示す

3. 技術・手法の肝は?

- 大規模 cross-embodiment video からラベルなしで embodiment-agnostic な skill representation を学習 - human 動画を prompt として skill を抽出 - 抽出した skill を robot データのみで学習した policy に転移 - 外見・身体能力の差異を吸収する skill 表現が肝 - 詳細な architecture・学習目的は要旨からは不明

4. どうやって有効だと検証した?

- simulation 環境と real-world 環境の両方で実験 - cross-embodiment skill が robot の適切な action 選択を導くかを評価 - 未見の video prompt に対しても有効かを検証 - 定量的指標・比較手法・被験者数など詳細は要旨からは不明

5. 議論はある?

- aligned な human-robot データ収集の困難を回避する点を主張 - 未見 video prompt への汎化可能性を示唆 - 限界・失敗ケース・計算コスト・実環境での安全性などの議論は要旨からは不明 - どの embodiment 間でどこまで転移可能かの範囲は要旨からは不明

6. 次に読むべき論文は?

- cross-embodiment learning / cross-embodiment imitation の関連研究 - human video からの robot learning(video-based robot learning) - embodiment-agnostic representation learning - skill representation / skill discovery の研究 - 要旨で具体的に参照・比較されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

分類: cs.RO, cs.CV

原文アブストラクト

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI