日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2405.18196

描画して拡散:拡散ベースの行動クローニングのための画像空間と行動空間の整合

Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの3Dモデルを仮想描画することで、RGB画像と低レベル行動を画像空間上で統合し、拡散プロセスで行動を生成する手法を提案。サンプル効率と空間汎化性能を実世界6タスクで実証した。

著者: Vitalis Vosylius, Younggyo Seo, Jafar Uruç, Stephen James

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

In the field of Robot Learning, the complex mapping between high-dimensional observations such as RGB images and low-level robotic actions, two inherently very different spaces, constitutes a complex learning problem, especially with limited amounts of data. In this work, we introduce Render and Diffuse (R&D) a method that unifies low-level robot actions and RGB observations within the image space using virtual renders of the 3D model of the robot. Using this joint observation-action representation it computes low-level robot actions using a learnt diffusion process that iteratively updates the virtual renders of the robot. This space unification simplifies the learning problem and introduces inductive biases that are crucial for sample efficiency and spatial generalisation. We thoroughly evaluate several variants of R&D in simulation and showcase their applicability on six everyday tasks in the real world. Our results show that R&D exhibits strong spatial generalisation capabilities and is more sample efficient than more common image-to-action methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI