日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.13197

上手くいく動作を模倣:人間動画からのシミュレーション選別モジュール型方策学習

Imitating What Works: Simulation-Filtered Modular Policy Learning from Human Videos

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から把持後の動作を学び、シミュレーションで把持の適合性を選別することで、ロボットデータなしに精密なマニピュレーションを実現するモジュール型方策学習フレームワークを提案。

詳しい要約

1. どんなもの?

- 人間の動画からロボットの把持・操作スキルを学習するフレームワーク「Perceive-Simulate-Imitate (PSI)」を提案。 - 把持後の動作(post-grasp motion)を人間動画から学習し、把持(grasp)はモジュール型ポリシーで生成。 - シミュレーションで把持と軌道のペアをフィルタリングし、把持適合性ラベルを付与。 - 実世界実験でロボットデータなしに精密操作を学習可能。

2. 先行研究と比べてどこがすごい?

- 従来の人間動画からの学習は把持後の動作には有効だが、把持自体の学習が困難。 - モジュール型ポリシーで把持生成器を使う手法は、任意の安定把持がタスクと互換性がない問題があった。 - PSIはシミュレーションで把持適合性を評価し、タスク指向の把持を教師あり学習。 - 把持生成器を単純に使うより大幅にロバストな性能を実現。

3. 技術・手法の肝は?

- 人間動画から把持後の動作軌道を抽出。 - シミュレーション内で把持と軌道のペアをフィルタリングし、把持適合性ラベルを生成。 - ラベル付きデータでタスク指向把持能力を教師あり学習。 - モジュール型ポリシー: 専用の把持生成器と学習された把持選択・動作ポリシーを組み合わせ。

4. どうやって有効だと検証した?

- 実世界実験で評価。 - ロボットデータを一切使わずに精密操作スキルを学習できることを示した。 - 把持生成器を単純に使うベースラインと比較し、有意にロバストな性能を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、人間動画からの模倣学習、モジュール型ポリシー、把持生成、シミュレーションによるフィルタリングが挙げられる。 - 同分野の定番として、Learning from Demonstration (LfD)、Reinforcement Learning (RL)、Sim-to-Real Transfer などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Albert J. Zhai, Kuo-Hao Zeng, Jiasen Lu, Ali Farhadi, Shenlong Wang, Wei-Chiu Ma

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

The ability to learn manipulation skills by watching videos of humans has the potential to unlock a new source of highly scalable data for robot learning. Here, we tackle prehensile manipulation, in which tasks involve grasping an object before performing various post-grasp motions. Human videos offer strong signals for learning the post-grasp motions, but they are less useful for learning the prerequisite grasping behaviors, especially for robots without human-like hands. A promising way forward is to use a modular policy design, leveraging a dedicated grasp generator to produce stable grasps. However, arbitrary stable grasps are often not task-compatible, hindering the robot's ability to perform the desired downstream motion. To address this challenge, we present Perceive-Simulate-Imitate (PSI), a framework for training a modular manipulation policy using human video motion data processed by paired grasp-trajectory filtering in simulation. This simulation step extends the trajectory data with grasp suitability labels, which allows for supervised learning of task-oriented grasping capabilities. We show through real-world experiments that our framework can be used to learn precise manipulation skills efficiently without any robot data, resulting in significantly more robust performance than using a grasp generator naively.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI