日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2505.12428

深度転移:実世界ドローン航法のためのシミュレータのように見る学習

Depth Transfer: Learning to See Like a Simulator for Real-World Drone Navigation

シェア:XThreadsFacebookLINEはてブBluesky

シミュレータの深度画像をVAEで潜在空間に符号化し、実世界のステレオ深度をその空間に適応させることで、ドローンの障害物回避ポリシーを実環境へ転移する手法を提案。

詳しい要約

1. どんなもの?

- シミュレータで学習した強化学習(RL)ポリシーを、実世界のステレオ深度画像入力へ直接転送するための depth transfer 手法 - ドローンの clutter 環境における自律ナビゲーション(障害物回避)を対象とする - Variational Autoencoder (VAE) の潜在空間を介して sim-to-real の視覚ギャップを橋渡しする - 実環境(屋内・屋外)での評価まで行う実践的な研究

2. 先行研究と比べてどこがすごい?

- 従来の sim-to-real は simulation と reality の乖離が高次元入力(密な深度推定)でポリシー性能を大きく損なう問題があった - 提案法はポリシーの fine-tuning なしで直接転送を可能にする点が新しい - IsaacGym で ground-truth から stereo depth 入力に切り替えた際、障害物回避成功率をほぼ2倍に改善 - IsaacGym の stereo データのみで photo-realistic な AvoidBench へ転送し、state-of-the-art ベースラインを上回る性能を達成

3. 技術・手法の肝は?

- まず Variational Autoencoder (VAE) を simulation の ground-truth 深度画像で学習し、潜在空間へエンコードする - この潜在表現を強化学習(RL)ポリシーの入力として用いる - 実環境展開時には、encoder を refinement してステレオ深度画像を同じ潜在空間へ整列(domain adaptation) - これによりポリシー自体の再学習や fine-tuning を不要にする

4. どうやって有効だと検証した?

- IsaacGym 上で ground-truth 深度から stereo depth 入力へ切り替えた際の障害物回避成功率を比較し、ほぼ2倍の改善を確認 - IsaacGym で生成した stereo データのみを用いて photo-realistic simulator AvoidBench へ転送し、state-of-the-art ベースラインと比較して優位な性能を確認 - 屋内・屋外の実世界環境での評価により、多様なドメインでの頑健かつ汎化可能な深度ベースナビゲーションを実証

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、計算コスト、encoder refinement の詳細な議論は記述されていない) - 実世界評価が屋内・屋外で行われた点は頑健性の傍証だが、定量的な議論は要旨からは不明

6. 次に読むべき論文は?

- AvoidBench(photo-realistic simulator ベースライン比較) - IsaacGym(学習・評価環境) - Variational Autoencoder (VAE) を用いた domain adaptation 関連研究 - sim-to-real transfer における depth-based navigation の先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hang Yu, Christophe De Wagter, Guido C. H. E de Croon

分類: cs.RO

原文アブストラクト

Sim-to-real transfer is a fundamental challenge in robot reinforcement learning. Discrepancies between simulation and reality can significantly impair policy performance, especially if it receives high-dimensional inputs such as dense depth estimates from vision. We propose a novel depth transfer method based on domain adaptation to bridge the visual gap between simulated and real-world depth data. A Variational Autoencoder (VAE) is first trained to encode ground-truth depth images from simulation into a latent space, which serves as input to a reinforcement learning (RL) policy. During deployment, the encoder is refined to align stereo depth images with this latent space, enabling direct policy transfer without fine-tuning. We apply our method to the task of autonomous drone navigation through cluttered environments. Experiments in IsaacGym show that our method nearly doubles the obstacle avoidance success rate when switching from ground-truth to stereo depth input. Furthermore, we demonstrate successful transfer to the photo-realistic simulator AvoidBench using only IsaacGym-generated stereo data, achieving superior performance compared to state-of-the-art baselines. Real-world evaluations in both indoor and outdoor environments confirm the effectiveness of our approach, enabling robust and generalizable depth-based navigation across diverse domains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI