日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2510.07773

軌道条件付き異形態間スキル転移

Trajectory Conditioned Cross-embodiment Skill Transfer

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモ動画から疎なオプティカルフロー軌道を抽出し、それを条件としてロボットの操作動画と実行行動を生成することで、形態の違いを超えたスキル転移を実現した研究。

詳しい要約

1. どんなもの?

- 人間の実演動画からロボットが操作スキルを獲得するための枠組み「TrajSkill」を提案した研究。 - 人間の動作を疎な optical flow trajectory として表現し、これを embodiment-agnostic な運動手がかりとして利用する。 - 軌跡・視覚・テキスト入力を条件に、時間的に一貫したロボット操作動画を合成し、実行可能な action へ変換することで cross-embodiment skill transfer を実現する。

2. 先行研究と比べてどこがすごい?

- 既存手法は paired dataset や hand-crafted rewards に依存し、scalability と generalization に制約があった。 - TrajSkill は人間の実演動画から直接スキル獲得を目指し、paired dataset や手設計報酬を必要としない点が特徴。 - 人間とロボットの形態差を optical flow trajectory で吸収するアプローチにより、embodiment gap への対処を図る。

3. 技術・手法の肝は?

- 人間の動作を sparse optical flow trajectory として表現し、形態的差異を除去しつつ本質的な dynamics を保持する。 - この軌跡に視覚入力とテキスト入力を条件として、時間的に一貫したロボット操作動画を合成する。 - 合成された動画を実行可能な action に変換することで、cross-embodiment のスキル転移を達成する。

4. どうやって有効だと検証した?

- シミュレーション(MetaWorld)で実験を実施。 - 最先端手法と比較して FVD を 39.6%、KVD を 36.6% 削減。 - cross-embodiment success rate を最大 16.7% 改善。 - 実ロボットによる kitchen manipulation タスクでも有効性を検証し、embodiment 間の人間からロボットへのスキル転移を示した。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、議論の詳細は記述されていない)。 - 実ロボット実験は kitchen manipulation タスクに限定されており、他のタスクへの一般化については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究名は記載されていない。 - 関連手法として、human demonstration video からの robot learning、cross-embodiment transfer、optical flow を用いた motion representation、video synthesis を action に変換する手法(例:video-based policy learning)が次に読む候補となる。 - ベンチマークとして MetaWorld 関連の論文も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: YuHang Tang, Yixuan Lou, Pengfei Han, Haoming Song, Xinyi Ye, Dong Wang, Bin Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Learning manipulation skills from human demonstration videos presents a promising yet challenging problem, primarily due to the significant embodiment gap between human body and robot manipulators. Existing methods rely on paired datasets or hand-crafted rewards, which limit scalability and generalization. We propose TrajSkill, a framework for Trajectory Conditioned Cross-embodiment Skill Transfer, enabling robots to acquire manipulation skills directly from human demonstration videos. Our key insight is to represent human motions as sparse optical flow trajectories, which serve as embodiment-agnostic motion cues by removing morphological variations while preserving essential dynamics. Conditioned on these trajectories together with visual and textual inputs, TrajSkill jointly synthesizes temporally consistent robot manipulation videos and translates them into executable actions, thereby achieving cross-embodiment skill transfer. Extensive experiments are conducted, and the results on simulation data (MetaWorld) show that TrajSkill reduces FVD by 39.6\% and KVD by 36.6\% compared with the state-of-the-art, and improves cross-embodiment success rate by up to 16.7\%. Real-robot experiments in kitchen manipulation tasks further validate the effectiveness of our approach, demonstrating practical human-to-robot skill transfer across embodiments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI