日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2506.01759

ADEPT: 適応的拡散環境生成によるSim-to-Realポリシー転移

ADEPT: Adaptive Diffusion Environment for Policy Transfer Sim-to-Real

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルを用いて既存の訓練環境を適応的に拡張し、ゼロショットのSim-to-Real転移を可能にする新しい環境生成手法を提案した。

詳しい要約

1. どんなもの?

- ロボット制御の model-free reinforcement learning 向けに、zero-shot sim-to-real を狙う環境生成フレームワーク ADEPT を提案する研究。 - Denoising Diffusion Probabilistic Models を用い、既存の訓練環境を多様化・複雑化して拡張する Adaptive Diffusion Environment。 - off-road navigation を対象に、wild environment 生成用の高速な multi-layer map representation も提案する。

2. 先行研究と比べてどこがすごい?

- 既存の outdoor 環境生成はパラメータに縛られた heuristics に依存し、多様性と現実性が限られる。 - ADEPT は diffusion model により、現在の policy に適応して訓練環境を動的に拡張する点が新しい。 - 実験では ADEPT で訓練した policy が procedurally generated environments と natural environments、および一般的な navigation 手法を上回ったと報告。

3. 技術・手法の肝は?

- Denoising Diffusion Probabilistic Models を活用し、既存訓練環境にノイズを加えた環境を生成する。 - 各環境での policy の性能で重み付けして、ノイズ破壊された環境をブレンドする。 - initial noise optimization により diffusion model の生成過程を誘導する。 - ノイズ破壊レベルを操作することで、policy fine-tuning 用の類似環境と訓練多様性を広げる新規環境を切り替える。 - off-road navigation 向けに multi-layer map representation を提案。

4. どうやって有効だと検証した?

- off-road navigation のベンチマークとして multi-layer map representation を提案し、評価に用いている。 - ADEPT で訓練した policy を procedurally generated environments、natural environments、一般的な navigation 手法と比較。 - 結果として ADEPT の policy がこれらを上回ったと報告している。

5. 議論はある?

- 要旨からは不明。 - ただし既存手法の heuristics 依存による多様性・現実性の限界を動機としており、diffusion 生成環境の多様性と現実性が議論の焦点と考えられる。

6. 次に読むべき論文は?

- Denoising Diffusion Probabilistic Models 関連の環境生成研究。 - procedurally generated environments を用いる手法。 - off-road navigation の navigation 手法。 - massively parallel physics simulation を用いた model-free reinforcement learning 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youwei Yu, Junhong Xu, Lantao Liu

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Model-free reinforcement learning has emerged as a powerful method for developing robust robot control policies capable of navigating through complex and unstructured environments. The effectiveness of these methods hinges on two essential elements: (1) the use of massively parallel physics simulations to expedite policy training, and (2) an environment generator tasked with crafting sufficiently challenging yet attainable environments to facilitate continuous policy improvement. Existing methods of outdoor environment generation often rely on heuristics constrained by a set of parameters, limiting the diversity and realism. In this work, we introduce ADEPT, a novel \textbf{A}daptive \textbf{D}iffusion \textbf{E}nvironment for \textbf{P}olicy \textbf{T}ransfer in the zero-shot sim-to-real fashion that leverages Denoising Diffusion Probabilistic Models to dynamically expand existing training environments by adding more diverse and complex environments adaptive to the current policy. ADEPT guides the diffusion model's generation process through initial noise optimization, blending noise-corrupted environments from existing training environments weighted by the policy's performance in each corresponding environment. By manipulating the noise corruption level, ADEPT seamlessly transitions between generating similar environments for policy fine-tuning and novel ones to expand training diversity. To benchmark ADEPT in off-road navigation, we propose a fast and effective multi-layer map representation for wild environment generation. Our experiments show that the policy trained by ADEPT outperforms both procedural generated and natural environments, along with popular navigation methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI