交通シミュレーション2026/5/1arXiv:2605.19033

RLFTSim: 強化学習による微調整で実現する現実的かつ制御可能なマルチエージェント交通シミュレーション

RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning

交通シミュレーションモデルを強化学習で微調整し、実データ分布に合わせてロールアウトの現実性を高めるとともに、目標条件付きの制御可能性を蒸留する手法を提案した。

詳しい要約

1. どんなもの？

- 交通シミュレーションのための強化学習ベースのファインチューニングフレームワーク「RLFTSim」を提案。 - 教師ありオープンループ学習では捉えられない動的・マルチエージェント相互作用を改善。 - シミュレータのロールアウトを実世界データ分布に整合させ、シナリオ生成の目標条件付き制御性を蒸留。 - 事前学習済みシミュレーションモデル上に実装し、Waymo Open Motion Datasetで実験。

2. 先行研究と比べてどこがすごい？

- 従来の教師ありオープンループ学習は動的マルチエージェント相互作用を捉えられない。 - ヒューリスティック探索ベースのファインチューニング手法と比較して、提案する低分散で密な報酬信号により必要サンプル数が大幅に少ない。 - 設計上、リアリズム整合の問題に直接対処。 - リアリズムでstate-of-the-art性能を達成。

3. 技術・手法の肝は？

- 強化学習によるファインチューニングフレームワーク。 - 事前学習済みシミュレーションモデル上にRLFTSimを実装。 - 忠実性と制御性のバランスを取る報酬を設計。 - 低分散で密な報酬信号を提案。 - 目標条件付き制御性を蒸留する手法を提供。

4. どうやって有効だと検証した？

- Waymo Open Motion Dataset上で包括的な実験を実施。 - リアリズムの改善を示し、state-of-the-art性能を達成。 - ヒューリスティック探索ベースのファインチューニング手法と比較し、必要サンプル数が大幅に少ないことを示す。 - 目標条件付けによる交通シミュレーション制御性の蒸留の有効性を実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：教師ありオープンループ学習、ヒューリスティック探索ベースのファインチューニング手法。 - 関連手法：Waymo Open Motion Datasetを用いた交通シミュレーション研究。 - 同分野の定番：マルチエージェント交通シミュレーション、強化学習によるファインチューニング。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ehsan Ahmadi, Hunter Schofield, Behzad Khamidehi, Fazel Arasteh, Jinjun Shan, Lili Mou, Dongfeng Bai, Kasra Rezaee

分類: cs.RO, cs.AI, cs.CV, cs.LG, cs.MA

原文アブストラクト

Supervised open-loop training has been widely adopted for training traffic simulation models; however, it fails to capture the inherently dynamic, multi-agent interactions common in complex driving scenarios. We introduce RLFTSim, a reinforcement-learning-based fine-tuning framework that enhances scenario realism by aligning simulator rollouts with real-world data distributions and provides a method for distilling goal-conditioned controllability in scenario generation. We instantiate RLFTSim on top of a pre-trained simulation model, design a reward that balances fidelity and controllability, and perform comprehensive experiments on the Waymo Open Motion Dataset. Our results show improvements in realism, achieving state-of-the-art performance. Compared with other heuristic search-based fine-tuning methods, RLFTSim requires significantly fewer samples due to a proposed low-variance and dense reward signal, and it directly addresses the realism alignment issue by design. We also demonstrate the effectiveness of our approach for distilling traffic simulation controllability through goal conditioning. The project page is available at https://ehsan-ami.github.io/rlftsim.

arXivで原文を読む →arXiv概要ページ

RLFTSim: 強化学習による微調整で実現する現実的かつ制御可能なマルチエージェント交通シミュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell