日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.15769

Hand2Robot: 人間の実演からの物体中心4D手再構成によるロボット教示

Hand2Robot: Object-Centric 4D Hand Reconstruction from Human Demonstrations for Robotics

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から物体形状と手の動きを再構成し、物体との接触を考慮してロボットの器用な操作ポリシーを事後学習するフレームワークを提案。

詳しい要約

1. どんなもの?

- 目的: 人間のデモンストレーションからロボットの行動監督を生成する。 - 手法: Hand2Robotは物体中心の4D手再構成フレームワーク。 - 入力: 対象タスクを行う人間のビデオ。 - 出力: ロボット行動監督。 - 構成: インタラクションクリップ抽出、物体形状再構成、手-物体インタラクション最適化、動作リターゲティング。 - 応用: ロボットポリシーのポストトレーニング。

2. 先行研究と比べてどこがすごい?

- 従来: 手再構成と動作リターゲティングはロボット監督を提供するが、物理的に一貫した手-物体インタラクションを保証しない。 - 本研究: 物体中心の4D再構成により、物体姿勢精度と手-物体インタラクション品質を改善。 - 利点: 限られたロボットデータを補完し、実ロボットタスクのポストトレーニングを効果的に支援。

3. 技術・手法の肝は?

- 物体追跡: 観測信頼度と時間的運動制約を組み合わせ、フレームごとの姿勢候補からグローバルに一貫した物体姿勢軌道を選択。 - 手の洗練: 物体形状と運動を参照し、段階的2Dアラインメントと物体局所接触制約を組み合わせ、手軌道と指関節構成を洗練。 - 全体: 手-物体インタラクション最適化と動作リターゲティングを統合。

4. どうやって有効だと検証した?

- データセット: DexYCBとHO3D-v3で実験。 - 結果: 物体姿勢精度と手-物体インタラクション品質が向上。 - 実ロボット: 3つの実ロボット巧みな操作タスクで、再構成・リターゲットされた人間デモが限られたロボットデータを補完し、ポストトレーニングに有効。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DexYCB, HO3D-v3, および関連する手再構成・動作リターゲティング手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zetao Du, Weiqing Wang, Hanbing Zhang, Yimiao Zhou, Ye Shi, Liang Wang, Jingya Wang

分類: cs.RO, cs.CV

原文アブストラクト

Human demonstrations can capture task-relevant manipulation without using the target robot, but the recorded hand motions cannot directly serve as robot action supervision. Hand reconstruction and motion retargeting provide a direct route to such supervision, yet recovering hand motion alone does not ensure physically consistent hand-object interactions. To address this issue, we introduce Hand2Robot, an object-centric 4D hand reconstruction framework for robot policy post-training. Given videos of humans performing the target task, Hand2Robot extracts interaction clips, reconstructs object geometry, and generates robot action supervision through hand-object interaction optimization and motion retargeting. For object tracking, we combine observation confidence with temporal motion constraints to select a globally consistent object pose trajectory from per-frame pose candidates. For hand refinement, we use object geometry and motion as a reference and combine staged 2D alignment with object-local contact constraints to refine hand trajectories and finger joint configurations. Experiments on DexYCB and HO3D-v3 show improved object pose accuracy and hand-object interaction quality. Experiments on three real-robot dexterous manipulation tasks further show that reconstructed and retargeted human demonstrations can effectively supplement limited robot data for target-task policy post-training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI