R1スタイル強化学習ファインチューニングによるマルチエージェント交通シミュレーションの高度化
Advancing Multi-agent Traffic Simulation via R1-Style Reinforcement Fine-Tuning
交通シミュレーションの次トークン予測モデルに対し、R1スタイルの強化学習ファインチューニングを適用し、人間の選好や評価指標に合致する挙動を生成できるようにした。Waymoのベンチマークで最高性能を達成。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Muleilan Pei, Shaoshuai Shi, Shaojie Shen
分類: cs.CV, cs.RO
原文アブストラクト
Scalable and realistic simulation of multi-agent traffic behavior is critical for advancing autonomous driving technologies. Although existing data-driven simulators have made significant strides in this domain, they predominantly rely on supervised learning to align simulated distributions with real-world driving scenarios. A persistent challenge, however, lies in the distributional shift that arises between training and testing, which often undermines model generalization in unseen environments. To address this limitation, we propose SMART-R1, a novel R1-style reinforcement fine-tuning paradigm tailored for next-token prediction models to better align agent behavior with human preferences and evaluation metrics. Our approach introduces a metric-oriented policy optimization algorithm to improve distribution alignment and an iterative "SFT-RFT-SFT" training strategy that alternates between Supervised Fine-Tuning (SFT) and Reinforcement Fine-Tuning (RFT) to maximize performance gains. Extensive experiments on the large-scale Waymo Open Motion Dataset (WOMD) validate the effectiveness of this simple yet powerful R1-style training framework in enhancing foundation models. The results on the Waymo Open Sim Agents Challenge (WOSAC) showcase that SMART-R1 achieves state-of-the-art performance with an overall realism meta score of 0.7858, ranking first on the leaderboard at the time of submission.
関連論文
- SHRED: 専門家デモンストレーションなしの異種道路利用者のための自己対戦交通シミュレーション
- DiTSG: マルチエージェント拡散トランスフォーマーによる文脈認識型航空交通シーン生成交通シミュレーション
- Flow-ERD: エージェント種別を考慮したフローマッチングとエントロピー正則化蒸留による多様な交通シミュレーション交通シミュレーション
- 信号交差点の閉ループマイクロシミュレーションのための生成モデル交通シミュレーション
- 多交差点都市交通のためのコリドースケールCARLA-VISSIM共シミュレーションフレームワーク交通シミュレーション
- 閉ループ交通モデリングにおける局所観測と大域シミュレーションの橋渡し交通シミュレーション
