交通ルールを強化する閉ループ学習による現実的な交通エージェント
Learning Realistic Traffic Agents in Closed-loop
模倣学習と強化学習を組み合わせ、交通ルール遵守を制約として専門家の運転を再現する閉ループ学習手法を提案し、現実的で一般化可能な交通シミュレーションを実現した。
著者: Chris Zhang, James Tu, Lunjun Zhang, Kelvin Wong, Simon Suo, Raquel Urtasun
分類: cs.RO, cs.CV, cs.LG
原文アブストラクト
Realistic traffic simulation is crucial for developing self-driving software in a safe and scalable manner prior to real-world deployment. Typically, imitation learning (IL) is used to learn human-like traffic agents directly from real-world observations collected offline, but without explicit specification of traffic rules, agents trained from IL alone frequently display unrealistic infractions like collisions and driving off the road. This problem is exacerbated in out-of-distribution and long-tail scenarios. On the other hand, reinforcement learning (RL) can train traffic agents to avoid infractions, but using RL alone results in unhuman-like driving behaviors. We propose Reinforcing Traffic Rules (RTR), a holistic closed-loop learning objective to match expert demonstrations under a traffic compliance constraint, which naturally gives rise to a joint IL + RL approach, obtaining the best of both worlds. Our method learns in closed-loop simulations of both nominal scenarios from real-world datasets as well as procedurally generated long-tail scenarios. Our experiments show that RTR learns more realistic and generalizable traffic simulation policies, achieving significantly better tradeoffs between human-like driving and traffic compliance in both nominal and long-tail scenarios. Moreover, when used as a data generation tool for training prediction models, our learned traffic policy leads to considerably improved downstream prediction metrics compared to baseline traffic agents. For more information, visit the project website: https://waabi.ai/rtr
関連論文
- 自動運転ポリシー評価のための閉ループシナリオオーケストレーション自動運転シミュレーション
- DreamStream: エンドツーエンド運転ポリシー向け生成的シミュレーション自動運転シミュレーション
- 信頼できるシミュレーションによる自動運転システムの仮想試験自動運転シミュレーション
- 平面を超えて:平面車両ダイナミクスと三次元道路形状の結合自動運転シミュレーション
- RoadWeaver: 自動運転シミュレーションのための大規模レーン級HDマップのゼロからの生成自動運転シミュレーション
- M^4World: インタラクティブな物体操作と長時間ストリーミングのためのマルチビュー・マルチモーダル運転ワールドモデル自動運転シミュレーション
