強化学習/自動運転/カリキュラム学習2026/6/1arXiv:2606.09236

自己ペースカリキュラム強化学習によるシミュレーションでの自動スーパーバイクレーシング

Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation

物理シミュレータVRider SBKでスーパーバイクを自律走行させるため、自己ペースカリキュラム強化学習(SPDL)とSACを組み合わせたフレームワークを提案し、手動カリキュラムなしで効率的に学習できることを示した。

詳しい要約

1. どんなもの？

- 二輪車（superbike）の自律レースを深層強化学習（RL）で実現するフレームワーク。 - Unityベースの物理精度の高いバイクシミュレータ「VRider SBK」を対象。 - エージェントはSoft Actor-Critic（SAC）とSelf-Paced curriculum Deep reinforcement Learning（SPDL）を統合。 - 状態空間は固有受容感覚特徴にlean-angle historyを加え、コースポイントによるグローバルなトラック特徴も含む。 - 報酬はトラック進行を促しつつ、二輪車特有の不安定挙動を罰するよう設計。

2. 先行研究と比べてどこがすごい？

- 従来の自律レース研究は主に四輪車を対象としており、二輪車の複雑さ（バランス、lean angle、反応的なステアリングとスロットル制御、軽量性）は未解決。 - 本研究は二輪車の自律レースにおけるRLベースの最初のベースラインを確立。 - SPDLをSACに統合することで、手動のカリキュラム設計なしに動的に難易度を調整。 - 予備実験でSAC単体より訓練効率、ラップタイム、走行安定性で優れることを示した。

3. 技術・手法の肝は？

- Soft Actor-Critic（SAC）をベースに、Self-Paced curriculum Deep reinforcement Learning（SPDL）を統合。 - SPDLはエージェントのパフォーマンスに基づき、手動設計なしで段階的に難易度の高いタスクを動的生成。 - 状態空間：固有受容感覚特徴＋lean-angle history＋コースポイントによるグローバルトラック特徴。 - 報酬設計：トラック進行を奨励し、二輪車特有の不安定挙動にペナルティ。

4. どうやって有効だと検証した？

- 複数のトラックとバイクモデルで予備実験を実施。 - SPDLがSAC単体と比較して、訓練効率、ラップタイム、走行安定性で優れることを示した。 - 詳細な実験設定や定量結果は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - 予備実験の結果のみ示されており、限界や議論については言及されていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：Soft Actor-Critic（SAC）、Self-Paced curriculum Deep reinforcement Learning（SPDL）。 - 関連手法：VRider SBKシミュレータ。 - 同分野の定番：四輪車の自律レースRL研究（例：Deep RL for autonomous racing）。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

分類: cs.RO, cs.AI

原文アブストラクト

Autonomous Racing has seen remarkable progress through deep Reinforcement Learning (RL), primarily for four-wheeled vehicles. However, motorbikes introduce substantially greater complexity due to the need to manage balance and lean angle, in addition to more reactive steering and throttle control, and a smaller weight. In this work, we present a framework for training an autonomous agent to race a superbike in VRider SBK, a physics-accurate Unity-based motorbike simulator. Our approach integrates Soft Actor-Critic (SAC) with Self-Paced curriculum Deep reinforcement Learning (SPDL), which dynamically generates progressively more challenging tasks based on the agent's performance, without requiring manual curriculum design. The agent's state space comprises proprioceptive features extended with lean-angle history, along with global track features via course points. The reward signal is shaped to encourage progress along the track while penalizing instability-inducing behaviors specific to two-wheeled dynamics. Preliminary experimental results demonstrate that SPDL outperforms SAC alone in training efficiency, lap time, and driving stability across multiple tracks and motorbike models, establishing a first baseline for RL-based autonomous motorbike racing.

arXivで原文を読む →arXiv概要ページ

← 論文一覧