日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.05325

RoboPaint: 人間の実演から任意のロボット・任意の視点へ

RoboPaint: From Human Demonstration to Any Robot and Any View

シェア:XThreadsFacebookLINEはてブBluesky

人間の多感覚デモを触覚対応リターゲティングとIsaac Simレンダリングでロボット訓練データに変換するReal-Sim-Realパイプラインを提案し、VLAモデルが80%の成功率を達成した。

詳しい要約

1. どんなもの?

- 人間のdemonstrationからロボット実行可能な訓練データを生成するReal-Sim-Realパイプライン - 標準化データ収集roomでmultimodal人間demonstrationを取得 - 3 RGB-D動画、11 RGB動画、29-DoF glove関節角、14-channel tactile信号を同期収録 - tactile-aware retargetingで人間手→robot dex-handへ変換 - Isaac Simでphotorealistic renderingしrobot訓練データを構築 - teleoperation不要でVLAモデル用大規模データを効率的に生成

2. 先行研究と比べてどこがすごい?

- 従来はrobot teleoperationでdemonstration収集が主流で高コスト・低スケール - 本研究はteleoperation不要で人間demonstrationから直接robot訓練データを生成 - Real-Sim-Realパイプラインによりscalableかつcost-effectiveな代替を提供 - 複雑なdexterous manipulationで性能低下を最小化 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- Real-Sim-Realデータ収集・編集パイプライン - 標準化データ収集roomでmultimodal人間demonstrationを同期取得 - tactile-aware retargeting: 人間手状態をgeometryとforce-guided optimizationでrobot dex-hand状態へマッピング - retargeted robot軌道をIsaac Simのphotorealistic環境でレンダリングし訓練データ化 - 生成データでVLAポリシー(Pi0.5)を訓練

4. どうやって有効だと検証した?

- 実世界実験で検証 - retargeted dex-hand軌道: 10種類の多様な物体操作タスクで84%成功率 - 生成データのみで訓練したVLAポリシー(Pi0.5): pick-and-place、pushing、pouringの3代表タスクで平均80%成功率 - 具体的な被験者数や試行回数は要旨からは不明

5. 議論はある?

- teleoperationに対するscalableでcost-effectiveな代替を提供 - 複雑なdexterous manipulationで性能低下は最小限 - 限界や失敗事例、一般化可能性の議論は要旨からは不明 - データ収集roomの汎用性や他タスクへの拡張性は要旨からは不明

6. 次に読むべき論文は?

- Vision-Language-Action (VLA)モデル - Pi0.5 - Isaac Sim - tactile-aware retargeting - dexterous manipulation - 具体的な参照論文は要旨に明記されていないため、同分野の定番としてVLA、teleoperation、sim-to-real関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiacheng Fan, Zhiyue Zhao, Yiqian Zhang, Chao Chen, Peide Wang, Hengdi Zhang, Zhengxue Cheng

分類: cs.RO

原文アブストラクト

Acquiring large-scale, high-fidelity robot demonstration data remains a critical bottleneck for scaling Vision-Language-Action (VLA) models in dexterous manipulation. We propose a Real-Sim-Real data collection and data editing pipeline that transforms human demonstrations into robot-executable, environment-specific training data without direct robot teleoperation. Standardized data collection rooms are built to capture multimodal human demonstrations (synchronized 3 RGB-D videos, 11 RGB videos, 29-DoF glove joint angles, and 14-channel tactile signals). Based on these human demonstrations, we introduce a tactile-aware retargeting method that maps human hand states to robot dex-hand states via geometry and force-guided optimization. Then the retargeted robot trajectories are rendered in a photorealistic Isaac Sim environment to build robot training data. Real world experiments have demonstrated: (1) The retargeted dex-hand trajectories achieve an 84\% success rate across 10 diverse object manipulation tasks. (2) VLA policies (Pi0.5) trained exclusively on our generated data achieve 80\% average success rate on three representative tasks, i.e., pick-and-place, pushing and pouring. To conclude, robot training data can be efficiently "painted" from human demonstrations using our real-sim-real data pipeline. We offer a scalable, cost-effective alternative to teleoperation with minimal performance loss for complex dexterous manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI