日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.17572

EgoCPT: 接触を考慮した最適化による単一の一人称視点動画からの器用なマニピュレーション学習

EgoCPT: Learning Dexterous Manipulation from a Single Ego-Centric Video with Contact-Aware Optimization

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点のRGB動画と参照手姿勢から、接触を考慮した最適化により実機で使えるロボットハンド軌道を生成する手法を提案し、5つのタスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 一人称視点のRGB動画と参照手姿勢軌跡から、ロボットハンドの操作軌跡を再ターゲットして学習する手法。 - 実ロボットに直接展開可能な高品質な軌跡を生成。 - 5つの操作タスクで評価。

2. 先行研究と比べてどこがすごい?

- 人間の動画から器用な操作を学習する際のembodiment gap問題に対処。 - ノイズの多い手姿勢に頑健で、接触を考慮した最適化を導入。 - 複数のベースラインを両ベンチマークで上回る性能。

3. 技術・手法の肝は?

- 接触を考慮した最適化フレームワークにより、ロボットハンドと物体間の接触点を反復的に最適化。 - 入力は一人称RGB動画と参照手姿勢軌跡のみ。 - ノイズの多い手姿勢再構成に頑健。

4. どうやって有効だと検証した?

- 5つの操作タスクで評価。 - ノイズの多いEgoDex手姿勢再構成で67.3%、高品質なTACO再構成で92.0%の成功率。 - 複数のベースラインと比較。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- EgoDex、TACO、および比較されたベースライン手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhixin Sun, Kairui Shi, Tianao Ren, Ming Yang, Mark Cutkosky, James Jingxi Xu

分類: cs.RO

原文アブストラクト

While expert demonstrations on real robots are difficult to collect, human ego-centric videos are easy to collect and abundant on the internet. However, learning dexterous manipulation policies from human videos remains challenging---one of the most important challenges being the difficulty of reconstructing physically grounded robot trajectories due to the large embodiment gap. In this paper, we propose EgoCPT, a novel paradigm for learning high-quality retargeted dexterous hand trajectories directly from an ego-centric video, which can then be deployed directly on real robots. The only inputs to our method are an ego-centric RGB video and a reference hand pose trajectory, which can be easily obtained through off-the-shelf software or specialized cameras during recording. Our method is particularly robust to noisy hand poses attributed to our novel contact-aware optimization framework, which iteratively optimizes the contact points between the robot hands and objects. Across five manipulation tasks, our method achieves overall success rates of 67.3% on noisy EgoDex hand-pose reconstructions and 92.0% on high-quality TACO reconstructions collected using motion-capture hardware, outperforming multiple baselines on both benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI