日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ドローンレーシング/モデルベースRL/sim2realarXiv:2510.14783

SkyDreamer: モデルベース強化学習による解釈可能なエンドツーエンド視覚ベースドローンレーシング

SkyDreamer: Interpretable End-to-End Vision-Based Drone Racing with Model-Based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルが訓練時のみ利用可能な特権情報をデコードすることで暗黙の状態・パラメータ推定器として機能する、ピクセルからモータ指令へ直接マッピングするエンドツーエンド視覚ベースドローンレーシング方策を提案し、実機で最大21m/s・6gの高速飛行とsim-to-real転移を実現した。

詳しい要約

1. どんなもの?

- 本研究は SkyDreamer という、end-to-end vision-based な Autonomous Drone Racing (ADR) の政策を提案するもの。 - pixel-level の表現から直接 motor commands へ写像する初の end-to-end vision-based ADR policy と主張。 - model-based reinforcement learning の一種 informed Dreamer を基盤とする。 - 実機で最大 21 m/s、最大 6 g の高速・敏捷飛行を実現。

2. 先行研究と比べてどこがすごい?

- 従来の ADR は champion-level 性能を持つ一方で drone racing に highly specific だった。 - end-to-end vision-based 手法は汎用性が期待されるが、これまで full sim-to-real transfer、onboard execution、champion-level performance を同時に達成したシステムは無いとされる。 - SkyDreamer はこれらを同時に満たす初の end-to-end vision-based ADR policy と位置づけられる。

3. 技術・手法の肝は?

- informed Dreamer を拡張し、world model が training 時のみ利用可能な privileged information へ decode する仕組みを end-to-end vision-based ADR に適用。 - world model を暗黙の state/parameter estimator として機能させ、解釈性を向上。 - world model の hidden state から decode した state で進行度を追跡し、視覚的曖昧性を解消。 - extrinsic camera calibration を不要とし、再学習なしで異なる drone へ迅速に展開可能。 - 完全に onboard で外部支援なしに動作。

4. どうやって有効だと検証した?

- 実世界実験で robust かつ高速な飛行を確認。 - inverted loop、split-S、ladder といった tight maneuvers を実行。 - 最高速度 21 m/s、最大加速度 6 g を達成。 - 低品質な segmentation masks 上でも動作する非自明な visual sim-to-real transfer を示す。 - battery depletion に対し、最大到達可能 motor RPM を正確に推定し飛行経路を real-time で調整する robustness を示す。

5. 議論はある?

- 低品質 segmentation masks での動作や battery depletion への適応は reality gap の重要側面への適応性を示すと議論。 - 一方、champion-level 性能との直接比較や、他手法との定量比較の詳細は要旨からは不明。 - 失敗ケースや限界、計算資源・消費電力などの議論は要旨からは不明。

6. 次に読むべき論文は?

- 基盤手法である informed Dreamer の原論文。 - 比較対象として言及される champion-level な ADR システム(drone racing 特化型の先行研究)。 - 関連する model-based reinforcement learning 手法である Dreamer 系の研究。 - end-to-end vision-based な自律飛行・sim-to-real transfer に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aderik Verraest, Stavrow Bahnam, Robin Ferede, Guido de Croon, Christophe De Wagter

分類: cs.RO

原文アブストラクト

Autonomous drone racing (ADR) systems have recently achieved champion-level performance, yet remain highly specific to drone racing. While end-to-end vision-based methods promise broader applicability, no system to date simultaneously achieves full sim-to-real transfer, onboard execution, and champion-level performance. In this work, we present SkyDreamer, to the best of our knowledge, the first end-to-end vision-based ADR policy that maps directly from pixel-level representations to motor commands. SkyDreamer builds on informed Dreamer, a model-based reinforcement learning approach where the world model decodes to privileged information only available during training. By extending this concept to end-to-end vision-based ADR, the world model effectively functions as an implicit state and parameter estimator, greatly improving interpretability. SkyDreamer runs fully onboard without external aid, resolves visual ambiguities by tracking progress using the state decoded from the world model's hidden state, and requires no extrinsic camera calibration, enabling rapid deployment across different drones without retraining. Real-world experiments show that SkyDreamer achieves robust, high-speed flight, executing tight maneuvers such as an inverted loop, a split-S and a ladder, reaching speeds of up to 21 m/s and accelerations of up to 6 g. It further demonstrates a non-trivial visual sim-to-real transfer by operating on poor-quality segmentation masks, and exhibits robustness to battery depletion by accurately estimating the maximum attainable motor RPM and adjusting its flight path in real-time. These results highlight SkyDreamer's adaptability to important aspects of the reality gap, bringing robustness while still achieving extremely high-speed, agile flight.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI