日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/モーションリターゲティングarXiv:2607.03828

ObjRetarget: 物体認識と人型アーム制約・多面体手モデルを統合したモーションリターゲティングフレームワーク

ObjRetarget: An Object-Aware Motion Retargeting Framework with Anthropomorphic Arm Constraints and Polyhedral Hand Modeling

シェア:XThreadsFacebookLINEはてブBluesky

人間の操作ビデオからロボットの器用な操作を学習するため、アームの軌道制約と手の接触構造を明示的にモデル化したモーションリターゲティング手法を提案し、実機で成功率と接触安定性を向上させた。

詳しい要約

1. どんなもの?

ObjRetargetは、人間の操作ビデオからロボットの器用操作(dexterous manipulation)を学習するための、人間からロボットへのモーションリターゲティングフレームワークである。腕の動作については、人間のビデオから抽出した参照軌道を初期化に用い、人間工学的制約(anthropomorphic constraints)と冗長性を考慮した最適化により自然で正確な動作を生成する。手の操作については、多指の接触をポリトープクラスタ(polytope clusters)で表現し、幾何学的不変量(geometric invariants)によって接触構造を保持することで安定性を向上させる。実ロボット実験により、複数の器用操作タスクでの成功率と接触安定性の向上、および異なるデモ、物体姿勢、タスク設定への一般化を実証している。

2. 先行研究と比べてどこがすごい?

既存のリターゲティング手法は、明示的な接触モデリングを無視するか、強化学習に依存することが多く、精度と一般化が限定的である。ObjRetargetは、人間工学的な腕の軌道制約と構造化された手と物体の幾何学的モデリングを統合することで、これらの問題に対処している。特に、接触構造を幾何学的不変量で保持する点が、接触安定性の向上に寄与しており、従来手法よりも優れている。

3. 技術・手法の肝は?

手法の肝は、腕の動作と手の操作を分離して扱う点にある。腕の動作では、人間のビデオから抽出した参照軌道を初期値とし、人間工学的制約と冗長性を考慮した最適化を行う。手の操作では、多指の接触をポリトープクラスタで表現し、接触構造を幾何学的不変量(例えば、接触点間の距離や角度)によって保持することで、接触の安定性を高めている。これにより、接触の明示的なモデリングを実現し、強化学習に依存しない。

4. どうやって有効だと検証した?

実ロボットを用いた実験で検証している。複数の器用操作タスクにおいて、ObjRetargetが操作成功率と接触安定性を向上させることを示した。また、異なるデモ、物体姿勢、タスク設定に対して一般化することを確認した。具体的な数値や比較対象は要旨からは不明。

5. 議論はある?

要旨からは、手法の限界や議論についての詳細は不明。ただし、一般化の実験が行われていることから、異なる設定への適応性は確認されている。しかし、計算コストや実時間性、複雑な接触状態への対応などについては言及がない。

6. 次に読むべき論文は?

要旨で参照されている先行研究は明示されていないが、関連する分野として、人間の操作ビデオからのロボット学習、モーションリターゲティング、強化学習を用いた器用操作、接触モデリングなどの研究が挙げられる。具体的には、'DexPilot'や'RoboTurk'などの人間デモからの模倣学習、'Dexterous Manipulation'の強化学習手法などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanchuan Lai, Qing Gao, Ziyan Liang, Junjie Hu, Zhaojie Ju

分類: cs.RO

原文アブストラクト

Learning robot dexterous manipulation from human manipulation videos requires reliably retargeting human intent to executable robot actions while maintaining stable hand-object contact, which remains a key challenge in embodied intelligence. Existing retargeting methods often ignore explicit contact modeling or rely on reinforcement learning, resulting in limited accuracy and generalization. To address this, we propose ObjRetarget, a human-to-robot motion retargeting framework for learning robot dexterous manipulation from human videos, which integrates anthropomorphic arm trajectory constraints with structured hand-object geometric modeling. For arm motion, reference trajectories extracted from human videos are used for initialization, followed by anthropomorphic constraints and redundancy-aware optimization to generate natural and accurate movements. For hand manipulation, ObjRetarget represents multi-finger contacts using polytope clusters and preserves contact structure through geometric invariants to improve stability. Experiments on real robots show that ObjRetarget improves manipulation success rates and contact stability across multiple dexterous tasks, and generalizes well to different demonstrations, object poses, and task settings.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI