日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2610.26170

特徴量レベル知覚とプロンプト物体検出によるヒューマノイドのデータ効率型模倣学習

Data-Efficient Learning from Demonstration for Humanoid Robots via Feature-Level Perception and Prompt-Based Object Detection

シェア:XThreadsFacebookLINEはてブBluesky

少量のデモ動画から特徴量と物体位置を抽出し、関節角軌道を予測するデータ効率の良い模倣学習フレームワークをNAOで実装・評価した。

詳しい要約

1. どんなもの?

- ヒューマノイドロボット向けの data-efficient な Learning from Demonstration (LfD) フレームワーク - 生画像ではなく、タスク特化のコンパクトな特徴量から manipulation スキルを学習 - 構成要素は layered visual preprocessing、Kinect-based human joint estimation、prompt-based object detection、depth information - これらから人間の動作特徴と物体の3次元位置を抽出し、temporal deep learning model でロボットの joint-angle trajectories を予測 - NAO humanoid robot 上に実装

2. 先行研究と比べてどこがすごい?

- 多くの vision-based LfD 手法は大規模データセットと計算コストの高い end-to-end training を必要とする - 本研究は生画像ではなくタスク特化の特徴量を用いることで data-efficient な学習を狙う - 16 demonstrations という少数データでの pick-and-place 成功を報告 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- layered visual preprocessing による視覚前処理 - Kinect-based human joint estimation で人間の関節情報を取得 - prompt-based object detection で対象物体を検出 - depth information を組み合わせ、人間の動作特徴と物体の3D位置を抽出 - 抽出特徴を入力に temporal deep learning model を訓練し、ロボットの joint-angle trajectories を予測・実行

4. どうやって有効だと検証した?

- NAO humanoid robot に実装 - シミュレーションで定量的評価、実機ハードウェアでデモンストレーション - pick-and-place: 16 demonstrations で 78%、100 demonstrations で 86% の成功率 - pushing: 8 demonstrations で 71% の成功率 - 少数デモンストレーションでの有効性を示す結果

5. 議論はある?

- データ効率の良さを示す一方、成功 rates はデモ数やタスクにより変動 - 実機での定量的評価の詳細や失敗要因の分析は要旨からは不明 - 他タスク・他ロボットへの汎化性や、prompt-based object detection の誤検出影響は要旨からは不明 - シミュレーションと実機の性能差の議論は要旨からは不明

6. 次に読むべき論文は?

- Learning from Demonstration (LfD) の vision-based 手法に関する代表的サーベイ - prompt-based object detection の代表的手法(例: open-vocabulary detection 系) - Kinect-based human joint estimation / pose estimation の関連研究 - temporal deep learning による trajectory prediction の関連研究 - humanoid robot (NAO) の manipulation 学習に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Keyhan Rayati, AliReza Beigy, Anoosheh Saadati, Pourya Shahverdi, Mehdi Tale Masouleh, Ahmad Kalhor, Wing-Yue Geoffrey Louie

分類: cs.RO

原文アブストラクト

Learning from Demonstration (LfD) allows robots to learn new skills from human examples; however, many vision-based methods require large datasets and resource-intensive end-to-end training. This paper introduces a data-efficient LfD framework for humanoid robots that learns manipulation skills from compact, task-specific features instead of raw images. The proposed approach integrates layered visual preprocessing, Kinect-based human joint estimation, prompt-based object detection, and depth information to extract human motion features and three-dimensional object locations from demonstration videos. These features are used to train a temporal deep learning model that predicts robot joint-angle trajectories for execution. The framework is implemented on a NAO humanoid robot, evaluated quantitatively in simulation, and demonstrated on physical hardware. In simulation, the robot achieves a 78% success rate on a pick-and-place task using only 16 demonstrations, which increases to 86% when trained with 100 demonstrations. The framework also achieves a 71% success rate on a pushing task using eight demonstrations, highlighting its effectiveness for data-efficient humanoid skill acquisition.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI