日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

水中ロボット/強化学習arXiv:2606.08513

強化学習を用いた自律型水中ロボットのエンドツーエンドの動作計画と実行に向けて

Towards End to End Motion Planning and Execution for Autonomous Underwater Vehicles Using Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、生のセンサーデータからスラスター指令へのエンドツーエンドの深層強化学習アプローチを提案し、高レベル方策と低レベル方策を階層的に組み合わせて水中ロボットの障害物回避と目標到達を実現する。

詳しい要約

1. どんなもの?

- 自律型水中航法(AUV)のためのエンドツーエンド深層強化学習(DRL)アプローチの実現可能性を探る研究。 - 生のセンサデータから直接スラスタコマンドへマッピングし、手動エンジニアリングを削減。 - 階層強化学習(HRL)アーキテクチャを採用し、問題を2つのマルコフ決定過程(MDP)に分割。 - 高レベル(HL)ポリシーは2Hzで動作し、単眼カメラ画像(84x84ピクセル)、前方監視ソナー(100x100ピクセル)、固有受容感覚データを処理して空間サブゴールを生成。 - 低レベル(LL)ポリシーは10Hzで動作し、サブゴールをスラスタコマンドに変換。

2. 先行研究と比べてどこがすごい?

- 従来のAUVは知覚、経路計画、運動制御のための複雑で高度に設計されたパイプラインに依存していた。 - 本研究は、手動エンジニアリングを削減するエンドツーエンドDRLの可能性を示す。 - サンプル効率の良いDRLを用いて、最小限の計算ハードウェアで水中ナビゲーションを実現。 - 障害物回避に成功し、軌道長がRRT*計画ベースラインの4%~6%以内に近似。 - シミュレートされたセンサノイズや視界低下に対して強いロバスト性を示す。

3. 技術・手法の肝は?

- 階層強化学習(HRL)アーキテクチャ:高レベル(HL)ポリシーと低レベル(LL)ポリシーに分割。 - HLポリシー:2Hzで動作し、カメラ画像、ソナー、固有受容感覚データから空間サブゴールを生成。 - LLポリシー:10Hzで動作し、サブゴールをスラスタコマンドに変換。 - HLポリシーの訓練:Prior Demonstrationsからの強化学習(RLPD)を修正したSample-Efficient Robotic Reinforcement Learning(SERL)フレームワーク内で実施。 - LLポリシーの訓練:Soft Actor-Critic(SAC)とHindsight Experience Replay(HER)を組み合わせ。

4. どうやって有効だと検証した?

- 高忠実度HoloOceanシミュレータで評価。 - 障害物回避に成功し、軌道長がRRT*計画ベースラインの4%~6%以内に近似。 - 学習されたポリシーは、シミュレートされたセンサノイズや視界低下に対して強いロバスト性を示す。 - ただし、未訪問エリアで新しい障害物形状に遭遇した場合の一般化限界が実験で明らかになった。

5. 議論はある?

- システムは慣れた幾何形状では効果的にナビゲートするが、未訪問エリアで新しい障害物形状に遭遇すると一般化限界がある。 - サンプル効率の良いエンドツーエンドDRLが、最小限の計算ハードウェアを用いた水中ナビゲーションに有望であることを示す。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:RRT*計画ベースライン、Sample-Efficient Robotic Reinforcement Learning(SERL)フレームワーク、Reinforcement Learning from Prior Demonstrations(RLPD)、Soft Actor-Critic(SAC)、Hindsight Experience Replay(HER)。 - 関連手法:階層強化学習(HRL)、深層強化学習(DRL)。 - 同分野の定番:AUVナビゲーション、水中ロボティクス。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Elisei Shafer, Oren Gal

分類: cs.RO, cs.LG, eess.SY

原文アブストラクト

Autonomous Underwater Vehicles (AUVs) traditionally rely on complex, heavily engineered pipelines for perception, path planning, and motion control. This paper explores the feasibility of an end-to-end Deep Reinforcement Learning (DRL) approach that maps raw sensor data directly to thruster commands, reducing manual engineering. We propose a hierarchical reinforcement learning (HRL) architecture splitting the problem into two Markov Decision Processes. A High-Level (HL) policy operating at 2Hz processes raw $84 \times 84$ pixel monocular camera frames, stacked $100 \times 100$ pixel forward-looking imaging sonar, and proprioceptive data to generate spatial subgoals. Simultaneously, a Low-Level (LL) policy operating at 10Hz converts these subgoals into thruster commands. The HL policy is trained using Reinforcement Learning from Prior Demonstrations (RLPD) within a modified Sample-Efficient Robotic Reinforcement Learning (SERL) framework, while the LL policy utilizes Soft Actor-Critic (SAC) combined with Hindsight Experience Replay (HER). Evaluated in the high-fidelity HoloOcean simulator, our method demonstrates successful obstacle avoidance, achieving trajectory lengths closely approximating (within 4% to 6% of) an $\text{RRT}^*$ planning baseline. Furthermore, the learned policy exhibits strong robustness to simulated sensor noise and decreased visibility. While the system navigates familiar geometries effectively, experiments reveal generalization limitations when encountering unvisited areas with novel obstacle shapes. Ultimately, this work demonstrates the promise of sample-efficient, end-to-end DRL for underwater navigation using minimal computational hardware.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI