交通シミュレーション2026/3/1arXiv:2603.24989

サンプリングからのロールアウト学習：R1スタイルのトークン化交通シミュレーションモデル

Learning Rollout from Sampling:An R1-Style Tokenized Traffic Simulation Model

交通シミュレーションのための新しいポリシーR1Simを提案し、運動トークンのエントロピーパターンに基づく強化学習と適応的サンプリングを導入して、多様で安全なマルチエージェント挙動を実現した。

詳しい要約

1. どんなもの？

- トークン化された交通シミュレーションモデル「R1Sim」を提案。 - 人間の運転デモから多様で高忠実な交通シミュレーションを学習することを目的とする。 - 次トークン予測（NTP）パラダイムを採用し、強化学習（RL）を導入。 - 運動トークンのエントロピーパターンに基づく探索を初めて試みる。 - 安全を考慮した報酬設計とGRPOを用いて最適化。

2. 先行研究と比べてどこがすごい？

- 従来のNTPベースの交通シミュレーションはSFTにより反復改善するが、価値ある運動トークンの能動的探索が制限されていた。 - 特に最適でない領域での探索が不十分だった。 - R1Simはエントロピー誘導適応サンプリングにより、不確実性が高いが潜在的に価値のある運動トークンに焦点を当てる。 - GRPOと安全認識報酬を組み合わせ、探索と活用のバランスを実現。 - これにより、従来手法よりも現実的で安全かつ多様なマルチエージェント行動を生成可能。

3. 技術・手法の肝は？

- エントロピー誘導適応サンプリング機構を導入。 - 運動トークンのエントロピーパターンを利用し、不確実性の高いトークンを優先的にサンプリング。 - Group Relative Policy Optimization (GRPO) を用いて運動行動を最適化。 - 安全を考慮した報酬設計を採用。 - グループ比較推定により、探索と活用のトレードオフを実現。

4. どうやって有効だと検証した？

- Waymo Sim Agentベンチマークで広範な実験を実施。 - 最先端手法と比較して競争力のある性能を達成。 - 有効性を実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照されている研究：次トークン予測（NTP）パラダイム、Group Relative Policy Optimization (GRPO)、Waymo Sim Agentベンチマーク。 - 関連手法：強化学習（RL）、教師あり微調整（SFT）。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyan Wang, Peng Chen, Ding Li, Chiwei Li, Qichao Zhang, Zhongpu Xia, Guizhen Yu

分類: cs.RO, cs.AI

原文アブストラクト

Learning diverse and high-fidelity traffic simulations from human driving demonstrations is crucial for autonomous driving evaluation. The recent next-token prediction (NTP) paradigm, widely adopted in large language models (LLMs), has been applied to traffic simulation and achieves iterative improvements via supervised fine-tuning (SFT). However, such methods limit active exploration of potentially valuable motion tokens, particularly in suboptimal regions. Entropy patterns provide a promising perspective for enabling exploration driven by motion token uncertainty. Motivated by this insight, we propose a novel tokenized traffic simulation policy, R1Sim, which represents an initial attempt to explore reinforcement learning based on motion token entropy patterns, and systematically analyzes the impact of different motion tokens on simulation outcomes. Specifically, we introduce an entropy-guided adaptive sampling mechanism that focuses on previously overlooked motion tokens with high uncertainty yet high potential. We further optimize motion behaviors using Group Relative Policy Optimization (GRPO), guided by a safety-aware reward design. Overall, these components enable a balanced exploration-exploitation trade-off through diverse high-uncertainty sampling and group-wise comparative estimation, resulting in realistic, safe, and diverse multi-agent behaviors. Extensive experiments on the Waymo Sim Agent benchmark demonstrate that R1Sim achieves competitive performance compared to state-of-the-art methods.

arXivで原文を読む →arXiv概要ページ

サンプリングからのロールアウト学習：R1スタイルのトークン化交通シミュレーションモデル

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell