日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

デモンストレーション学習/軌道生成arXiv:2607.09519

DemoBridge: 単一視点の人間デモンストレーション再ターゲティングのためのシミュレーション・イン・ザ・ループ・ツールキット

DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting

シェア:XThreadsFacebookLINEはてブBluesky

単一視点のRGBステレオ映像から人間の手のデモンストレーションを取得し、物理検証済みのロボットアーム軌道に変換するツールキットを提案。衝突回避プランナーと物理シミュレータをループさせ、再プランニングにより実行可能な軌道を生成する。

詳しい要約

1. どんなもの?

DemoBridgeは、単一視点のRGBステレオ録画による人間の手のデモンストレーションを、実行可能で物理検証済みのロボットアーム軌道に変換するツールキットである。エンドエフェクタのポーズをマッピングするだけでなく、衝突を考慮したプランナーが軌道全体を最適化し、物理シミュレータをループ内で用いて各フェーズを検証し、失敗時にはバックトラックして再プランニングする。把握タイミングの自動推定、知覚バックエンドやロボット、パイプライン段階の設定による交換可能性を特徴とする。

2. 先行研究と比べてどこがすごい?

従来のリターゲティング手法は、マッピングされたエンドエフェクタのポーズに対する逆運動学を解くが、ロボットアームの長いリンクと衝突体積により、衝突のない解が得られないことが多い。また、軌道の各ウェイポイントでこれを要求するため、単一視点のノイズにより参照が不正確になる。DemoBridgeは、軌道全体を一度に最適化し、代替の把握ポーズ、アーム全体と把持物体の衝突、デモ経路への忠実性を共同で推論することで、この問題に対処する。さらに、物理シミュレータをループ内で使用し、失敗時に再プランニングすることで、デモをそのまま再現できない場合でも破棄せずに再計画する点が新しい。

3. 技術・手法の肝は?

手法の核心は、単一の衝突認識プランナーが関節軌道全体を同時に最適化することである。これは、代替の把握ポーズ、アーム全体と把持物体の衝突、デモ経路への忠実性を考慮する。物理シミュレータがループ内で動作し、生成された各フェーズを検証し、失敗時にはバックトラックして再プランニングする。把握タイミングは自動的に推定され、知覚バックエンド、ロボット、パイプライン段階は設定ファイルから交換可能である。

4. どうやって有効だと検証した?

評価は、3つの実デモンストレーションタスクにおけるパイプライン全体のリターゲティングと、制御された合成ベンチマークにおけるプランナーの性能で行われた。具体的な結果は要旨に記載されていないが、有効性が検証されたと述べられている。

5. 議論はある?

要旨からは、議論や限界についての詳細は不明である。ただし、単一視点のノイズやエンボディメントギャップによる課題に対処しているが、複雑なタスクや多視点での性能、実ロボットでの実行結果などについては言及がない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、人間のデモンストレーションからのロボット学習(Learning from Demonstration)、模倣学習(Imitation Learning)、衝突回避プランニング(Collision Avoidance Planning)、物理シミュレーションを用いた検証(Physics-based Validation)に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zehao Wang, Fabien Despinoy, Sergey Zakharov, Tinne Tuytelaars, Rahaf Aljundi

分類: cs.RO

原文アブストラクト

We present DemoBridge, an toolkit that turns a single-view RGB stereo recording of a human hand demonstration into an executable, physics-validated robot-arm trajectory. Retargeting across the embodiment gap is hard. A robot arm reaches a target with a long, articulated body whose links carry far more collision volume than a hand. Solving inverse kinematics for the mapped end-effector pose often yields no collision-free solution, and a trajectory imposes this at every waypoint. A single view adds noise, leaving the demonstrated reference inaccurate. At the core of DemoBridge is a single collision-aware planner. It optimizes the whole joint trajectory at once, reasoning jointly over alternative grasp poses, whole-arm and grasped-object collision, and fidelity to the demonstrated path. A physics simulator runs in the loop. It validates each phase as it is produced and backtracks on failure, so a demonstration that cannot be reproduced as given is re-planned rather than discarded. The resulting action sequence is dynamically stable and faithful to the demonstrated manipulation. It also doubles as a ready-to-use simulation rollout for policy learning. Grasp timing is inferred automatically, and the perception backends, robot, and pipeline stages are swappable from configuration. We evaluate whole-pipeline retargeting on three real-demonstration tasks and the planner on a controlled synthetic benchmark. Our code is available at https://gitlab.kuleuven.be/u0123974/demo-bridge/ .

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI