日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2610.06137

人間の動画を物理的に整合したロボット操作データに変換

Robotizing Human Videos with Physically Consistent Interactions

シェア:XThreadsFacebookLINEはてブBluesky

人間の手をロボットハンドに置き換える際の接触形状と遮蔽を物理的に整合させ、ロボット実演と共学習することで操作性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

- 人間の動画をロボット操作データへ変換する手法。 - 人間の手をロボットに置換し、物理的に整合した相互作用を再現。 - 生成動画をロボット実演と共訓練に利用。 - 対象は parallel-jaw grippers。

2. 先行研究と比べてどこがすごい?

- 既存の video-editing 手法は不正確な相互作用再構成と合成により、不整合な把持や非現実的な遮蔽を生じる。 - 提案法は interaction geometry と scene visibility の2面から改善。 - robot-only training と元の Masquerade pipeline より高い平均成功率。 - 特に out-of-distribution なシーン変化で強い改善。

3. 技術・手法の肝は?

- interaction-aware contact reconstruction module が hand-object segmentation と mesh-level contact prediction を統合。 - 密な3D接触を復元し、parallel-jaw grippers 用に時間的に安定化した把持へ変換。 - depth-aware compositing module が scene と robot の depth を用いて物理的に整合した robot-object occlusion を実現。 - 生成動画をロボット実演と共訓練。

4. どうやって有効だと検証した?

- 同一の人間動画とロボットデータを使用し、robot-only training と Masquerade pipeline と比較。 - 4つの RoboTwin タスクと2つの Diffusion Policy visual encoders で評価。 - 提案法が最高の平均成功率を達成。 - 実世界展開で視覚的妨害に対する頑健性向上を確認。

5. 議論はある?

- 実世界展開では、タスク幾何が観測可能な場合に視覚的妨害への頑健性が向上。 - 一方、depth-sensitive grasps の性能は single-camera setup により制限される。 - 要旨からはその他の議論は不明。

6. 次に読むべき論文は?

- Masquerade pipeline - Diffusion Policy - RoboTwin - robot-only training - 同分野の定番として video-editing によるロボットデータ生成手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ching-Lam Cheng, Shengfeng He, Bin Zhu

分類: cs.RO

原文アブストラクト

Human videos offer scalable manipulation data, but the embodiment gap between human hands and robot manipulators limits their direct use. Existing video-editing methods replace hands with rendered robots, yet inaccurate interaction reconstruction and compositing can produce inconsistent grasps and implausible robot-object occlusions. We address these failures from two complementary physical aspects: interaction geometry and scene visibility. First, an interaction-aware contact reconstruction module combines hand-object segmentation with mesh-level contact prediction to recover dense 3D contacts, then converts them into temporally stabilized grasps for parallel-jaw grippers. Second, a depth-aware compositing module uses scene and robot depth to enforce physically consistent robot-object occlusions. The resulting videos preserve the interaction structure of human demonstrations in a robot-compatible form and are co-trained with robot demonstrations. Using identical human videos and robot data, we compare against robot-only training and the original Masquerade pipeline. Across four RoboTwin tasks and two Diffusion Policy visual encoders, our method achieves the highest average success rates, with especially strong gains under out-of-distribution scene variation. Real-world deployment further shows that the proposed co-training approach improves robustness to visual distractors when the task geometry is observable, while performance on depth-sensitive grasps remains limited by the single-camera setup.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI