日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2602.19184

人間からロボットへの模倣学習:動画デモンストレーションからの操作スキル獲得

Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation

シェア:XThreadsFacebookLINEはてブBluesky

動画から操作動作と対象物体を抽出するVLMベースの理解モジュールと、TD3強化学習による模倣実行モジュールを組み合わせ、ロボットが非構造動画から操作スキルを学ぶパイプラインを提案した。

詳しい要約

1. どんなもの?

- ビデオデモンストレーションからロボットが操作スキルを獲得する「Human-to-Robot」模倣学習パイプラインを提案。 - 人間が見て真似る能力に着想を得て、非構造化ビデオから直接操作コマンドを抽出。 - モジュール型フレームワークで、Video UnderstandingとRobot Imitationの2段階に分離。 - PyBulletシミュレーション(UR5e)と実世界実験(UF850)で検証。 - 4つの基本動作(reach, pick, move, put)を対象。

2. 先行研究と比べてどこがすごい?

- 従来のビデオキャプションモデルはグローバルなシーン特徴を優先し、タスク関連物体の記述が不正確。 - 既存のend-to-endアーキテクチャは大量のペアデータを必要とし、物体やシナリオ間の汎化が困難。 - 提案手法はモジュール分離により、これらの問題を解決。 - ビデオ理解で89.97%の行動分類精度、BLEU-4スコア0.351(標準物体)と0.265(新規物体)を達成。 - ベストベースラインと比較してそれぞれ76.4%と128.4%の改善。 - ロボット操作では平均成功率87.5%、reachで100%、pick-and-placeで最大90%。

3. 技術・手法の肝は?

- 2段階のモジュール型フレームワーク。 - 第1段階:Video Understandingでは、Temporal Shift Modules (TSM)とVision-Language Models (VLMs)を組み合わせ、行動と相互作用物体を抽出。 - 第2段階:Robot Imitationでは、TD3ベースの深層強化学習を用いて実演操作を実行。 - これにより、非構造化ビデオから直接操作スキルを学習可能。

4. どうやって有効だと検証した?

- PyBulletシミュレーション環境でUR5eマニピュレータを使用。 - 実世界実験でUF850マニピュレータを使用。 - 4つの基本動作(reach, pick, move, put)で評価。 - ビデオ理解:行動分類精度89.97%、BLEU-4スコア0.351(標準物体)、0.265(新規物体)。 - ロボット操作:平均成功率87.5%、reachで100%、pick-and-placeで最大90%。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:一般的なビデオキャプションモデル、end-to-endアーキテクチャ。 - 関連手法:Learning from Demonstration (LfD)、Temporal Shift Modules (TSM)、Vision-Language Models (VLMs)、TD3。 - 同分野の定番:模倣学習、強化学習、ロボット操作。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thanh Nguyen Canh, Thanh-Tuan Tran, Haolan Zhang, Ziyan Gao, Nak Young Chong, Xiem HoangVan

分類: cs.RO

原文アブストラクト

Learning from Demonstration (LfD) offers a promising paradigm for robot skill acquisition. Recent approaches attempt to extract manipulation commands directly from video demonstrations, yet face two critical challenges: (1) general video captioning models prioritize global scene features over task-relevant objects, producing descriptions unsuitable for precise robotic execution, and (2) end-to-end architectures coupling visual understanding with policy learning require extensive paired datasets and struggle to generalize across objects and scenarios. To address these limitations, we propose a novel ``Human-to-Robot'' imitation learning pipeline that enables robots to acquire manipulation skills directly from unstructured video demonstrations, inspired by the human ability to learn by watching and imitating. Our key innovation is a modular framework that decouples the learning process into two distinct stages: (1) Video Understanding, which combines Temporal Shift Modules (TSM) with Vision-Language Models (VLMs) to extract actions and identify interacted objects, and (2) Robot Imitation, which employs TD3-based deep reinforcement learning to execute the demonstrated manipulations. We validated our approach in PyBullet simulation environments with a UR5e manipulator and in a real-world experiment with a UF850 manipulator across four fundamental actions: reach, pick, move, and put. For video understanding, our method achieves 89.97% action classification accuracy and BLEU-4 scores of 0.351 on standard objects and 0.265 on novel objects, representing improvements of 76.4% and 128.4% over the best baseline, respectively. For robot manipulation, our framework achieves an average success rate of 87.5% across all actions, with 100% success on reaching tasks and up to 90% on complex pick-and-place operations. The project website is available at https://thanhnguyencanh.github.io/LfD4hri.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI