日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作スキル獲得arXiv:2607.20033

単一の人間ビデオから数秒でロボットが操作スキルを獲得

Robots Acquire Manipulation Skills in Seconds from a Single Human Video

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが1本の人間のデモ動画から、数秒で新しい操作スキルを獲得しつつ、既存スキルを保持できるフレームワークHOSTを提案した。

詳しい要約

1. どんなもの?

HOST (Human-to-robot One-Shot Skill AcquisiTion) は、単一の人間のデモンストレーションビデオから、ロボットが数秒で新しい操作スキルを獲得しつつ、既に習得したスキルを保持することを可能にするフレームワークである。スキル獲得を自己接地された予測のカスケードとして解決する。まず、デモンストレーションタスク内でのロボットの進捗を推定し、次に今後の進捗をロボット自身の将来の観測に変換し、最後に予測された観測から行動を導出する。

2. 先行研究と比べてどこがすごい?

従来の手法は、訓練時間のループに依存し、コストが高く遅く、既に習得したスキルを侵食する。HOSTは、単一の人間のビデオから推論時に新しいスキルを獲得でき、平均29秒で獲得し、平均成功率62%を達成する。ゼロショットベースラインを45%上回り、既習スキルを保持する。さらに、タスクあたり50のロボットデモンストレーションで微調整されたベースラインを上回りながら、50倍少ないデモンストレーションで、各スキルを507倍速く獲得する。

3. 技術・手法の肝は?

HOSTは、自己接地された予測のカスケードを用いる。まず、ロボットのタスク内での進捗を推定し、次に今後の進捗をロボット自身の将来の観測に変換し、最後に予測された観測から行動を導出する。このカスケードは、ビデオデモンストレーションに結合されたターゲットで訓練される。これは、ロボットの軌跡とビデオデモンストレーションを共有のタスク進捗多様体にマッピングし、各ターゲットをビデオの今後の進捗に合わせて再定義することで得られる。これにより、ロボットはデモンストレーション手順に能動的に従い、自身の身体性に適応できる。

4. どうやって有効だと検証した?

有効性は、単一の人間のビデオから新しいスキルを獲得する実験で検証された。平均29秒で獲得し、平均成功率62%を達成した。ゼロショットベースラインを45%上回り、既習スキルを保持した。さらに、タスクあたり50のロボットデモンストレーションで微調整されたベースラインを上回り、50倍少ないデモンストレーションで、各スキルを507倍速く獲得した。

5. 議論はある?

要旨からは、HOSTの限界や潜在的な欠点についての議論は不明である。しかし、単一の人間のビデオからの学習は、視点の違いや身体性の違いなど、課題がある可能性が考えられるが、要旨では明示されていない。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する手法として、ゼロショット模倣学習、One-Shot Imitation Learning、Skill Retentionを扱う継続学習、および人間のビデオからのロボット学習(Learning from Human Videos)などが考えられる。具体的には、HOSTのベースラインとして使われたであろうゼロショットベースラインや、ロボットデモンストレーションによる微調整ベースラインに関連する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guangyan Chen, Meiling Wang, Te Cui, Zichen Zhou, Qi Shao, Shalfun Li, Hang Su, Roy Gan, Hao Wang, Mengyin Fu, Yi Yang, Yufeng Yue

分類: cs.RO

原文アブストラクト

The ability to acquire skills rapidly and effortlessly while retaining those already mastered is essential for robots. However, current methods still rely on a cumbersome training-time loop that is costly and slow, while eroding skills already mastered. In this paper, we introduce HOST (Human-to-robot One-Shot Skill AcquisiTion), a framework that enables a robot to acquire skills in seconds from a single human video while retaining previously mastered skills. HOST resolves skill acquisition through a cascade of self-grounded prediction. It first estimates the robot's progress within the demonstrated task, then translates the upcoming progression into the robot's own future observations, and finally derives actions from these predicted observations. This cascade is trained on targets coupled to the video demonstration, obtained by mapping the robot trajectory and the video demonstration onto a shared task progress manifold, then redefining each target to align with the future progression of the video. HOST thereby enables the robot to actively follow the demonstrated procedure and adapt it to the robot's embodiment. HOST acquires novel skills at inference time from a single human video in an average of 29 seconds and achieves a 62% average success rate. It exceeds the zero-shot baseline by 45% while retaining previously mastered skills. HOST even exceeds the baseline fine-tuned on 50 robot demonstrations per task while requiring 50 times fewer demonstrations and acquiring each skill 507 times faster. Additional information about HOST is available on the project website.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI