日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/軌道転写arXiv:2606.10743

手中心のビデオデモからの人間からロボットへの軌道転写:オープンワールド接触位置特定によるアプローチ

Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Open-World Contact Localization

シェア:XThreadsFacebookLINEはてブBluesky

人間のビデオデモから、接触情報を考慮した多様なロボット軌道を生成するフレームワークを提案。手と物体の接触区間を特定し、把持意図をロボットの並行ジョー把持に変換して軌道を生成する。

詳しい要約

1. どんなもの?

- ビデオデモンストレーションからロボットの軌道を生成するフレームワーク「HOWTransfer」を提案。 - ハンド中心のアプローチで、接触を考慮した多様なロボット軌道を生成。 - オブジェクト固有の記述や視覚言語クエリ、明示的なオブジェクト状態追跡に依存しない。 - 人間の手の動きから3D手運動を復元し、接触区間を定位。 - 把持意図を並列ジョーグリップの仮説に変換し、手首軌道に沿って伝播。 - 軌道編集により接触アライメントを洗練し、多様な実行可能変種を生成。

2. 先行研究と比べてどこがすごい?

- 従来のビデオからの学習は、ノイズの多い手と物体の相互作用、未知物体の部分観測、身体間の差異が課題。 - オブジェクト固有の記述や視覚言語クエリ、明示的なオブジェクト状態追跡に依存しない点が新しい。 - 接触定位と軌道生成を統合し、単一デモから多様な軌道を生成可能。 - テレオペレーション軌道よりも好まれるという結果をブラインド嗜好研究で示した。

3. 技術・手法の肝は?

- 観測された手と物体の相互作用キューを推論し、時間的に一貫した3D手運動を復元。 - 時間的接触区間を定位し、接触開始点を特定。 - 人間の把持意図をマルチモーダルな並列ジョーグリップ仮説にリターゲット。 - 復元された手首軌道に沿って仮説を伝播させ、ロボット実行可能な動作を生成。 - 軌道編集段階で接触アライメントを洗練し、多様な実行可能変種を生成。

4. どうやって有効だと検証した?

- 多様なマニピュレーションタスクで実験を実施。 - 接触定位の正確性とロボット動作リターゲティングの品質を評価。 - 86%の成功率を達成。 - ブラインド嗜好研究でテレオペレーション軌道よりも好まれることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Learning from Demonstration (LfD)、Visual Imitation Learning、Cross-Embodiment Transfer、Contact Localization に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yitian Shi, Di Wen, Zhengqi Han, Zicheng Guo, Yu Hu, Edgar Welte, Kunyu Peng, Rainer Stiefelhagen, Rania Rayyes

分類: cs.RO

原文アブストラクト

Learning from human video demonstrations remains challenging due to noisy hand-object interactions, unseen objects with partial observation, and cross-embodiment discrepancy. To address these challenges, we present \textit{HOWTransfer} (\emph{H}and-\emph{O}bject \emph{O}pen-\emph{W}orld Transfer), a hand-centric framework that distills human demonstrations into contact-aware, taxonomy-informed, and diverse robotic trajectories. Instead of relying on object-specific descriptions, vision-language queries, or explicit object-state tracking, \emph{HOWTransfer} recovers temporally consistent 3D hand motion and localizes temporal contact intervals by reasoning over observed hand-object interaction cues. The localized contact onsets are then used to retarget human grasp intent into multi-modal parallel-jaw grasp hypotheses, which are propagated along the recovered wrist trajectory to generate robot-executable motions. Finally, a trajectory editing stage refines contact alignment and produces diverse executable variants from a single demonstration. Experiments across diverse manipulation tasks show that \emph{HOWTransfer} enables accurate contact localization and high-quality robot motion retargeting with $86\%$ success, which is preferred over teleoperated trajectories in a blinded preference study.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI