日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2604.10809

WARPED: 手首視点レンダリングによる自己中心視点の人間デモからのロボットポリシー学習

WARPED: Wrist-Aligned Rendering for Robot Policy Learning from Egocentric Human Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

単眼RGBの自己中心視点動画から、手首視点の写実的な観測を合成してロボットポリシーを訓練するフレームワークを提案。遠隔操作デモと同等の成功率を5〜8倍短いデータ収集時間で達成した。

詳しい要約

1. どんなもの?

- 一人称視点の人間デモンストレーションから、ロボットの手首視点の観測を合成し、視覚運動ポリシーを学習するフレームワークWARPEDを提案。 - 単眼RGBカメラのみで収集したデータから、リアルな手首視点画像を生成し、ロボットポリシーを訓練する。 - 5つの卓上操作タスクで、遠隔操作データで訓練したポリシーと同等の成功率を達成し、データ収集時間を5-8倍削減。

2. 先行研究と比べてどこがすごい?

- 従来の人間デモンストレーション学習は、多視点カメラ、深度センサ、カスタムハードウェアに依存し、三人称または一人称視点からのポリシー実行に限定されていた。 - WARPEDは単眼RGBデータのみで、手首視点の観測を合成し、ポリシーを訓練できる点が新しい。 - 遠隔操作データと同等の成功率を、5-8倍少ないデータ収集時間で達成。

3. 技術・手法の肝は?

- 一人称RGBカメラで収集したデータから、視覚基盤モデルを活用してインタラクティブシーンを初期化。 - 手と操作対象のインタラクションパイプラインで、手と物体を追跡し、軌道をロボットエンドエフェクタにリターゲット。 - Gaussian Splattingにより、フォトリアルな手首視点観測を合成し、ロボットポリシーを直接訓練。

4. どうやって有効だと検証した?

- 5つの卓上操作タスクにおいて、WARPEDで訓練したポリシーが、遠隔操作デモンストレーションデータで訓練したポリシーと同等の成功率を達成。 - データ収集時間が5-8倍少なくて済むことを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、Learning from Demonstration (LfD)、Vision Foundation Models、Gaussian Splatting、Hand-Object Interaction Tracking、Retargeting、Visuomotor Policy Learningなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Harry Freeman, Chung Hee Kim, George Kantor

分類: cs.RO

原文アブストラクト

Recent advancements in learning from human demonstration have shown promising results in addressing the scalability and high cost of data collection required to train robust visuomotor policies. However, existing approaches are often constrained by a reliance on multiview camera setups, depth sensors, or custom hardware and are typically limited to policy execution from third-person or egocentric cameras. In this paper, we present WARPED, a framework designed to synthesize realistic wrist-view observations from human demonstration videos to facilitate the training of visuomotor policies using only monocular RGB data. With data collected from an egocentric RGB camera, our system leverages vision foundation models to initialize the interactive scene. A hand-object interaction pipeline is then employed to track the hand and manipulated object and retarget the trajectories to a robotic end-effector. Lastly, photo-realistic wrist-view observations are synthesized via Gaussian Splatting to directly train a robotic policy. We demonstrate that WARPED achieves success rates comparable to policies trained on teleoperated demonstration data for five tabletop manipulation tasks, while requiring 5-8x less data collection time.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI