日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.20455

手の軌道検索によるロボットの高速適応

HAND Me the Data: Fast Robot Adaptation via Hand Path Retrieval

シェア:XThreadsFacebookLINEはてブBluesky

人間の手のデモンストレーションからロボットの動作データを検索し、4分以内に新しいマニピュレーションタスクを学習する手法を提案。

詳しい要約

1. どんなもの?

- 人間の手のデモンストレーションからロボットの新しい操作タスクを教える手法「HAND」を提案する研究。 - テレオペレーションで収集したタスク固有のロボットデモではなく、提供が容易な手のデモを用いる。 - タスク非依存のロボットのplay dataから関連する振る舞いをretrievalする。 - 実ロボット上で4分未満のリアルタイム学習を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来はテレオペレーションによるタスク固有のロボットデモ収集に依存していた。 - HANDは手のデモのみで済み、カメラのキャリブレーションや詳細なhand pose estimationを必要としない。 - 実ロボット実験でretrievalベースラインを平均タスク成功率で2倍以上上回る。

3. 技術・手法の肝は?

- visual tracking pipelineで手のデモから人間の手の動きを抽出する。 - 2段階のretrievalでロボットのsub-trajectoriesを取得する。 - 第1段階: 視覚的類似性でフィルタリング。 - 第2段階: 手と類似した振る舞いのtrajectoriesをretrieval。 - retrievalしたデータでpolicyをfine-tuningする。

4. どうやって有効だと検証した?

- 実ロボットでの実験を実施。 - retrievalベースラインとの比較で平均タスク成功率が2倍以上であることを示す。 - 4分未満でのリアルタイム学習を実証。 - 詳細な実験設定は要旨からは不明。

5. 議論はある?

- カメラのキャリブレーションや詳細なhand pose estimationが不要である点を利点として述べる。 - 具体的な限界や失敗事例に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- retrievalベースライン(具体的名称は要旨からは不明)。 - テレオペレーションによるタスク固有デモを用いる手法(一般名)。 - play dataを用いるロボット学習(一般名)。 - visual trackingおよびhand pose estimationの関連研究(一般名)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Matthew Hong, Anthony Liang, Kevin Kim, Harshitha Rajaprakash, Jesse Thomason, Erdem Bıyık, Jesse Zhang

分類: cs.RO

原文アブストラクト

We hand the community HAND, a simple and time-efficient method for teaching robots new manipulation tasks through human hand demonstrations. Instead of relying on task-specific robot demonstrations collected via teleoperation, HAND uses easy-to-provide hand demonstrations to retrieve relevant behaviors from task-agnostic robot play data. Using a visual tracking pipeline, HAND extracts the motion of the human hand from the hand demonstration and retrieves robot sub-trajectories in two stages: first filtering by visual similarity, then retrieving trajectories with similar behaviors to the hand. Fine-tuning a policy on the retrieved data enables real-time learning of tasks in under four minutes, without requiring calibrated cameras or detailed hand pose estimation. Experiments also show that HAND outperforms retrieval baselines by over 2x in average task success rates on real robots. Videos can be found at our project website: https://liralab.usc.edu/handretrieval/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI