日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2509.20286

単一の人間動画から汎化可能な両手視覚運動方策を学習するParse-Augment-Distill

Parse-Augment-Distill: Learning Generalizable Bimanual Visuomotor Policies from Single Human Video

シェア:XThreadsFacebookLINEはてブBluesky

1本の人間動画をキーポイント動作軌道に変換し、シミュレータなしで両手タスク・動作計画により大規模拡張し、キーポイント条件付き方策へ蒸留することで、汎化可能な両手ロボット方策を学習する手法を提案。

詳しい要約

1. どんなもの?

- 単一の人間動画から汎化可能な両手協調(bimanual)visuomotor policyを学習する枠組み PAD (Parse-Augment-Distill) を提案する研究。 - 3段階から成る: (a) 人間動画デモをロボット実行可能な keypoint-action trajectory に parse する、(b) bimanual task-and-motion-planning により simulator なしで大規模にデモを augment する、(c) augment した trajectory を keypoint-conditioned policy に distill する。 - 実世界の6つの両手タスク(飲み物を注ぐ、ゴミ掃除、容器を開ける等)に展開し、one-shot policy を得る。

2. 先行研究と比べてどこがすごい?

- 従来の teleoperation データ収集は多大な労力を要し、out-of-distribution への汎化が課題であった。 - 既存の demonstration augmentation は高コストな simulation rollouts と合成画像での学習を要し、sim-to-real gap を生む。 - 本研究は simulator を用いずに augmentation を行い、画像ではなく keypoint 表現を採用することで、simulation rollouts に依存する image policy ベースの SOTA な bimanual demonstration augmentation 手法を success rate と sample/cost efficiency の両面で上回ると主張。

3. 技術・手法の肝は?

- 中核は Parse-Augment-Distill の3段階パイプライン。 - Parse: 単一の人間動画デモを keypoint-action trajectory へ変換し、ロボット実行可能な形にする。 - Augment: bimanual task-and-motion-planning を用い、simulator なしでデモを大規模に増強する。 - Distill: 増強された trajectory を keypoint-conditioned policy へ distill する。 - keypoint という state 表現が category-level generalization に寄与する点が肝。

4. どうやって有効だと検証した?

- 実世界の6つの多様な両手タスク(飲み物を注ぐ、ゴミ掃除、容器を開ける等)にフレームワークを展開。 - 未見の spatial arrangements、object instances、background distractors に対して汎化する one-shot policy を生成できることを示した。 - simulation rollouts に基づく image policy の SOTA な bimanual demonstration augmentation 手法と比較し、success rate および sample/cost efficiency で上回ることを実証。

5. 議論はある?

- 要旨からは不明(具体的な限界・失敗事例・議論の詳細は記述されていない)。 - 主張として、simulator 不要の augmentation と keypoint 表現により sim-to-real gap とデータ収集コストを回避できる点が示唆される。

6. 次に読むべき論文は?

- 比較対象として言及される simulation rollouts を用いた image policy ベースの SOTA な bimanual demonstration augmentation 研究。 - keypoint 表現による category-level generalization に関する先行研究。 - 人間動画からの visuomotor policy 学習および demonstration augmentation の関連研究。 - bimanual task-and-motion-planning に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Georgios Tziafas, Jiayun Zhang, Hamidreza Kasaei

分類: cs.RO

原文アブストラクト

Learning visuomotor policies from expert demonstrations is an important frontier in modern robotics research, however, most popular methods require copious efforts for collecting teleoperation data and struggle to generalize out-ofdistribution. Scaling data collection has been explored through leveraging human videos, as well as demonstration augmentation techniques. The latter approach typically requires expensive simulation rollouts and trains policies with synthetic image data, therefore introducing a sim-to-real gap. In parallel, alternative state representations such as keypoints have shown great promise for category-level generalization. In this work, we bring these avenues together in a unified framework: PAD (Parse-AugmentDistill), for learning generalizable bimanual policies from a single human video. Our method relies on three steps: (a) parsing a human video demo into a robot-executable keypoint-action trajectory, (b) employing bimanual task-and-motion-planning to augment the demonstration at scale without simulators, and (c) distilling the augmented trajectories into a keypoint-conditioned policy. Empirically, we showcase that PAD outperforms state-ofthe-art bimanual demonstration augmentation works relying on image policies with simulation rollouts, both in terms of success rate and sample/cost efficiency. We deploy our framework in six diverse real-world bimanual tasks such as pouring drinks, cleaning trash and opening containers, producing one-shot policies that generalize in unseen spatial arrangements, object instances and background distractors. Supplementary material can be found in the project webpage https://gtziafas.github.io/PAD_project/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI