日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2603.15013

CycleRL: シミュレーションから実機への深層強化学習による堅牢な自律自転車制御

CycleRL: Sim-to-Real Deep Reinforcement Learning for Robust Autonomous Bicycle Control

シェア:XThreadsFacebookLINEはてブBluesky

高忠実度シミュレータとドメインランダム化を用いたPPOにより、バランス・速度・操舵を同時に制御する自律自転車のsim-to-realフレームワークを構築し、実機展開に成功した。

詳しい要約

1. どんなもの?

- 自律自転車のためのsim-to-real深層強化学習フレームワークCycleRLを開発 - 都市モビリティやラストマイル物流への応用を目指す - 高忠実度NVIDIA Isaac Sim環境で知覚から行動への直接マッピングを構築 - Proximal Policy Optimization (PPO)で制御ポリシーを最適化 - バランス維持、速度追従、ステアリング制御を同時に達成する複合報酬関数を設計 - 系統的なdomain randomizationを採用し、シミュレーションと現実のギャップを橋渡し - シミュレーションで99.90%のバランス成功率、1.15°の方位追従誤差、0.18 m/sの速度追従誤差を達成 - ハードウェア展開にも成功し、DRLが自律自転車制御に有効であることを実証

2. 先行研究と比べてどこがすごい?

- 従来の制御戦略はunderactuated nonlinear dynamicsに苦しみ、モデルミスマッチや現実の不確実性に敏感 - CycleRLはDRLを活用し、従来手法よりも優れた適応性を提供 - 精密なシステムモデリングへの依存を減らし、sim-to-real転移を容易に - シミュレーションと実機の両方で有効性を検証した点が先行研究と比べて優れている

3. 技術・手法の肝は?

- 高忠実度NVIDIA Isaac Sim環境内で知覚から行動への直接マッピングを確立 - Proximal Policy Optimization (PPO)を用いて制御ポリシーを最適化 - バランス維持、速度追従、ステアリング制御を同時に考慮した複合報酬関数を設計 - 系統的なdomain randomizationを適用し、シミュレーションと現実のギャップを低減 - これにより、精密なシステムモデリングへの依存を減らし、直接転移を促進

4. どうやって有効だと検証した?

- シミュレーションで99.90%のバランス成功率を達成 - 方位追従誤差1.15°、速度追従誤差0.18 m/sを記録 - ハードウェア展開に成功し、実機での有効性を確認 - ビデオデモを公開(https://cpnt-lab.github.io/CycleRL/)

5. 議論はある?

- DRLが自律自転車制御の効果的なパラダイムであることを定量的結果とハードウェア展開で実証 - 従来の制御手法よりも優れた適応性を提供 - 議論の詳細や限界については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、Model Predictive Control (MPC)、Linear Quadratic Regulator (LQR)、Deep Deterministic Policy Gradient (DDPG)などの関連手法が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gelu Liu, Teng Wang, Zhijie Wu, Junliang Wu, Songyuan Li, Xiangwei Zhu

分類: cs.RO

原文アブストラクト

Autonomous bicycles offer a promising agile solution for urban mobility and last-mile logistics. However, conventional control strategies often struggle with underactuated nonlinear dynamics, suffering from sensitivity to model mismatches and limited adaptability to real-world uncertainties. To address this, we develop CycleRL, a comprehensive sim-to-real framework for robust autonomous bicycle control. Our approach establishes a direct perception-to-action mapping within the high-fidelity NVIDIA Isaac Sim environment, leveraging Proximal Policy Optimization (PPO) to optimize the control policy. The framework features a composite reward function tailored for concurrent balance maintenance, velocity tracking, and steering control. Crucially, systematic domain randomization is employed to reduce the reliance on precise system modeling, bridge the simulation-to-reality gap and facilitate direct transfer. In simulation, CycleRL achieves promising performance, including a 99.90% balance success rate, a heading tracking error of 1.15{\deg}, and a velocity tracking error of 0.18 m/s. These quantitative results, coupled with successful hardware deployment, validate DRL as an effective paradigm for autonomous bicycle control, offering superior adaptability over traditional methods. Video demonstrations are available at https://cpnt-lab.github.io/CycleRL/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI