日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.07813

DexWild: 日常環境での人間の手による器用な操作データ収集とロボット方策学習

DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies

シェア:XThreadsFacebookLINEはてブBluesky

低コストなウェアラブルデバイスで人間の手の操作データを収集し、人間とロボットのデモを共訓練することで、未知環境や異なる身体でも汎化する器用な操作方策を実現した。

詳しい要約

1. どんなもの?

- 大規模で多様なロボットデータセットは dexterous manipulation policy の汎化に有望だが、teleoperation は高コストでスケールしにくい。 - そこで日常の手の使い方のように人が自分の手でデータ収集する DexWild を提案。 - 多様なデータ収集者が多数の環境・物体で数時間の interaction を収集。 - 収録用に低コスト・モバイル・使いやすい DexWild-System を開発。 - DexWild 学習フレームワークは human と robot の demonstration で co-train する。

2. 先行研究と比べてどこがすごい?

- teleoperation は高忠実度だが高コストでスケーラビリティに限界。 - 人手による収集でスケールを狙う点が特徴。 - human と robot の demonstration を co-train することで、それぞれ単独で学習するより性能が向上。 - 最小限の robot 固有データで新規環境・タスク・embodiment へ汎化可能。 - 未見環境で 68.5% の success rate を達成し、robot data のみで学習した policy の約4倍。 - cross-embodiment generalization は 5.8x 向上。

3. 技術・手法の肝は?

- DexWild-System は低コスト・モバイル・簡単に使えるデータ収録デバイス。 - 多様な収集者が自身の手で多数の環境・物体の interaction を収集。 - DexWild 学習フレームワークは human demonstration と robot demonstration の両方で co-train。 - これにより追加の robot 固有データを最小限に抑えつつ、頑健な robot policy を獲得。 - 詳細なアルゴリズムやデバイス構成は要旨からは不明。

4. どうやって有効だと検証した?

- 実験結果として、未見環境で 68.5% の success rate を報告。 - robot data のみで学習した policy と比較して約4倍の性能。 - cross-embodiment generalization が 5.8x 向上。 - 新規環境・タスク・embodiment への汎化を評価。 - 具体的な評価プロトコルやベースラインの詳細は要旨からは不明。

5. 議論はある?

- human と robot の demonstration を co-train することが有効であることを示唆。 - 低コストな人手収集で大規模データを集める可能性を提示。 - 一方で、収集データの品質管理やデバイスのキャリブレーション、embodiment 間の差異への対処などの議論は要旨からは不明。 - 限界や失敗事例についても要旨からは不明。

6. 次に読むべき論文は?

- teleoperation によるデータ収集手法(一般的な手法名として)。 - 大規模 robot dataset を用いた dexterous manipulation policy の研究(一般的な関連分野として)。 - cross-embodiment learning / co-training に関する研究(一般的な関連手法として)。 - 要旨で具体的に参照されている個別論文は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tony Tao, Mohan Kumar Srirama, Jason Jingzhou Liu, Kenneth Shaw, Deepak Pathak

分類: cs.RO, cs.AI, cs.CV, cs.LG, cs.SY, eess.SY

原文アブストラクト

Large-scale, diverse robot datasets have emerged as a promising path toward enabling dexterous manipulation policies to generalize to novel environments, but acquiring such datasets presents many challenges. While teleoperation provides high-fidelity datasets, its high cost limits its scalability. Instead, what if people could use their own hands, just as they do in everyday life, to collect data? In DexWild, a diverse team of data collectors uses their hands to collect hours of interactions across a multitude of environments and objects. To record this data, we create DexWild-System, a low-cost, mobile, and easy-to-use device. The DexWild learning framework co-trains on both human and robot demonstrations, leading to improved performance compared to training on each dataset individually. This combination results in robust robot policies capable of generalizing to novel environments, tasks, and embodiments with minimal additional robot-specific data. Experimental results demonstrate that DexWild significantly improves performance, achieving a 68.5% success rate in unseen environments-nearly four times higher than policies trained with robot data only-and offering 5.8x better cross-embodiment generalization. Video results, codebases, and instructions at https://dexwild.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI