日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/強化学習arXiv:2608.00113

トラック誘導型階層強化学習による自動運転ドリフトと最小ラップタイム計画

Track-Guided Hierarchical Reinforcement Learning for Autonomous Vehicle Drifting with Minimum-Lap-Time Planning

シェア:XThreadsFacebookLINEはてブBluesky

ラリー競技のようなドリフト走行を自動運転で実現するため、最小ラップタイム計画と強化学習を組み合わせた階層的制御フレームワークを提案した。ドリフト制御からコーナリング、レース全体へと段階的に学習することで、複雑なドリフト運転を実現する。

詳しい要約

1. どんなもの?

本論文は、自動運転車両によるドリフト走行(意図的にトラクションを失わせて車両をコーナー出口方向へ向ける操作)を対象に、ラップタイム最小化を実現するための計画・制御フレームワークを提案している。具体的には、Minimum-Lap-Time (MLT) ドリフト計画軌道を最適制御問題として生成し、その軌道を事前データとして深層強化学習(deep reinforcement learning)によるドリフト制御器を訓練する。さらに、Track-guided Reinforcement Learning (TgRL) という段階的学習手法を導入し、ドリフト制御ポリシー、ドリフトコーナーポリシー、包括的なドリフトレースポリシーの順に学習を進める。報酬関数は即時報酬とMLT目的に基づく終端報酬で構成される。シミュレーションにより、提案フレームワークが車両運動制御性能を保ちつつラップタイムを効果的に短縮するドリフトレースポリシーを学習できることを示している。

2. 先行研究と比べてどこがすごい?

先行研究では、ドリフト制御は安定化が主目的であり、ラップタイム最小化は考慮されていないことが多い。また、深層強化学習をドリフトに直接適用する場合、極端な横滑り角により学習が困難である。本提案は、MLT計画軌道を事前データとして利用し、TgRLによる段階的学習を導入することで、ドリフト制御とラップタイム最小化を統合した点が新しい。

3. 技術・手法の肝は?

手法の肝は、MLTドリフト計画軌道の生成と、TgRLによる段階的学習である。まず、最適制御問題を解いてMLTドリフト軌道を生成し、これを事前データとして用いる。TgRLでは、ドリフト制御ポリシー(単純なドリフト維持)、ドリフトコーナーポリシー(コーナリング)、包括的ドリフトレースポリシー(全コース)の順に学習を進める。報酬関数は即時報酬と終端報酬(MLT目的に基づく)で構成される。

4. どうやって有効だと検証した?

シミュレーションを用いて、提案フレームワークがドリフトレースポリシーを学習できることを検証した。具体的には、車両運動制御性能(安定性)とラップタイムの両方を評価し、提案手法が有効であることを示した。

5. 議論はある?

要旨からは、シミュレーション結果のみで実機検証が行われていない点や、TgRLの各段階の学習時間、他の制御手法との比較などは不明である。また、報酬関数の設計やMLT計画軌道の生成方法の詳細も要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Minimum-Lap-Time (MLT) 計画、深層強化学習による車両制御、ドリフト制御の研究が挙げられる。具体的には、最適制御によるMLT軌道生成の研究や、深層強化学習を用いた自動運転の研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sheng Zhao, Bolin Zhao, Xiaodong Wu, Chen Lv

分類: cs.RO

原文アブストラクト

In Formula 1, drivers optimize racing lines within tire grip limits to minimize lap times; however, in rally racing, drivers intentionally break traction to drift on loose surfaces. This maneuver rapidly aligns the vehicle for corner exits, ultimately reducing lap time. Autonomously executing such maneuvers formulates a complex dual-objective control problem: stabilizing highly nonlinear drift dynamics while strictly minimizing lap time. Addressing this challenge motivates the development of advanced Minimum-Lap-Time (MLT) drift control architectures. This paper proposes a planning-control framework specifically designed for MLT drifting scenario. First, we formulate an optimal control problem to generate a MLT drift planning trajectory, which is used as prior data to train a deep reinforcement learning drift controller. Given that drifting involves extremely large sideslip angles and is therefore challenging to learn directly, a Track-guided Reinforcement Learning (TgRL) drift control method is proposed to enable progressive training in a step-by-step manner, from drift control policy, to drift corner policy, and finally to a comprehensive drift race policy. The reward function incorporates both an instant reward term and an end reward term derived from the Minimum-Lap-Time objective. Simulation results demonstrate that the proposed framework enables the agent to learn a drift racing policy that not only ensures vehicle motion control performance but also effectively reduces lap time.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI