日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

デモ収集/巧緻操作arXiv:2607.27784

DexDirect: 直接運動感覚アームガイダンスによる効率的な巧緻操作デモ収集

DexDirect: Direct Kinesthetic Arm Guidance for Efficient Dexterous Demonstration Collection

シェア:XThreadsFacebookLINEはてブBluesky

重力補償されたロボットアームを直接操作し、ウェブカメラで手の動きをロボットハンドにリターゲットすることで、低コストかつ高効率に巧緻操作のデモを収集する手法を提案。

詳しい要約

1. どんなもの?

DexDirectは、器用な操作のデモンストレーション収集を効率化するための直接的な運動感覚アームガイダンスシステムである。オペレータは重力補償された6-DoFロボットアームをハンドルで直接ドラッグし、単一のWebカメラがオペレータのもう一方の手の動きを16関節13-DoFの器用なロボットハンドにリターゲティングする。

2. 先行研究と比べてどこがすごい?

高忠実度のインターフェースは高価なハードウェアと大規模なセットアップを必要とし、低セットアップで低コストな代替手段は精度が低く、オペレータの認知負荷が高いという問題がある。DexDirectは、直接的な運動感覚アームガイダンスとビジョンベースのハンドリターゲティングを組み合わせることで、低セットアップかつスケーラブルで、効率的なデモンストレーション収集を実現している。

3. 技術・手法の肝は?

手法の核心は、オペレータが重力補償された6-DoFアームを直接操作してアームの動きを指定し、単一のWebカメラでオペレータの手のポーズを捉えて、それをロボットハンドの関節角度にリターゲティングする点にある。これにより、アームの位置とハンドの操作を直感的に分離して収集できる。

4. どうやって有効だと検証した?

ユーザスタディにより、DexDirectは純粋なビジョンベースのAnyTeleopとポーズトラッキングベースのTeleDexと比較して、それぞれ17.2倍と3.2倍多くの成功したデモンストレーションを収集できることを示した。また、適応されたNASA-TLXを用いて、精神的負担、努力、フラストレーションを大幅に軽減する一方で、身体的負担は増加することを確認した。さらに、DexDirectで収集したデモンストレーションで学習した拡散ポリシーは、キューブのピックアンドプレースタスクで90%の成功率を達成した。

5. 議論はある?

要旨からは、身体的負担の増加が指摘されているが、これは長時間の使用における疲労や持続可能性に影響を与える可能性がある。また、単一のWebカメラによるハンドリターゲティングの精度や、複雑なタスクへの適用可能性については議論の余地がある。さらに、ユーザスタディの規模や被験者の多様性、タスクの一般化については要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されているAnyTeleopとTeleDexが関連研究として挙げられる。また、拡散ポリシーを用いた模倣学習に関する研究や、デクスタラスマニピュレーションのためのデータ収集手法に関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Beom Jun Kim, Shiu-Jen Wang, Jonathan Liu, Alvin Zhu, Quanyou Wang, Hanzhang Fang, Feng Xu, Mingzhang Zhu, Yuchen Cui, Dennis W. Hong

分類: cs.RO

原文アブストラクト

Scalable collection of dexterous manipulation demonstrations remains a major bottleneck for robot learning. High-fidelity interfaces often require costly hardware and extensive setup, while low-setup, low cost alternatives tend to provide less precise control and impose greater cognitive workload on operators. We present DexDirect, a direct kinesthetic arm guidance for efficient dexterous demonstration collection. The operator drags a 6-DoF gravity-compensated robot arm directly by a handle, while a single webcam retargets operator's other hand onto a 16 joints 13-DoF dexterous robot hand. User studies suggest DexDirect collects 17.2x and 3.2x more successful demonstrations compared to purely vision (AnyTeleop) and pose-tracking (TeleDex) baselines. An adapted NASA-TLX shows DexDirect greatly reduces mental demand, effort, and frustration, despite raising physical demand. A diffusion policy trained on DexDirect demonstrations reaches a 90% success rate on a cube pick-and-place task. These results suggest that direct kinesthetic arm guidance combined with vision-based hand retargeting provides an efficient low-setup and scalable interface for collecting dexterous manipulation demonstrations

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI