日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/シミュレーションarXiv:2607.13028

TerraZero: ゼロデモンストレーション自己対戦スケールのための手続き型運転シミュレーション

TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale

シェア:XThreadsFacebookLINEはてブBluesky

強化学習スケールで高速かつ現実的な地図構造に基づく多様な運転シナリオを生成する手続き型シミュレータと自己対戦学習スタックを提案し、ゼロデモンストレーションで汎化する運転ポリシーを訓練した。

詳しい要約

1. どんなもの?

TerraZeroは、強化学習による自動運転エージェントの訓練を大規模に行うための、手続き型生成の運転シミュレータと自己対戦(self-play)トレーニングスタックである。CPU上でシミュレーションを、GPU上でポリシー推論をゼロコピー経路で実行する設定可能なCエンジンを備え、単一のサーバーグレードGPUで毎秒130万エージェントステップを達成する。ログデータは実世界の地図ジオメトリのソースとしてのみ使用し、各マップにランダム化されたルールベースの道路利用者や信号制御器を配置し、エピソードごとにエージェントのダイナミクス、報酬、サイズをランダム化することで、1つのマップから事実上無限のシナリオを生成する。報告されているすべてのポリシーは、人間のデモンストレーションなしで、強化学習のみでゼロから訓練される。

2. 先行研究と比べてどこがすごい?

既存のオブジェクトレベルのシミュレータよりもはるかに高速で、単一エージェントシステムが省略する異種エージェント、複数のダイナミクスモデル、完全な交通ルールの執行などの忠実度を維持する。また、デモンストレーションなしの自己対戦手法として、Waymo Open Sim Agentsのリアリズムで他のデモンストレーションなし手法を上回り、最強の参照アンカー自己対戦手法に匹敵する。さらに、単一のチェックポイントがval14とインタラクティブなロングテールのInterPlanスイートの両方でトップとなる初の完全学習ポリシーであると主張している。

3. 技術・手法の肝は?

手法の肝は、CPU上でシミュレーションを、GPU上でポリシー推論を実行するゼロコピー経路を持つCエンジンによる高速化と、ログデータを地図ジオメトリのみに使用し、ルールベースの交通参加者とランダム化されたダイナミクス、報酬、サイズを組み合わせることで、多様なシナリオを生成する手続き的生成にある。さらに、人間のデモンストレーションや模倣、ログ軌跡、推論時のフォールバックプランナーを一切使用せず、強化学習のみでゼロからポリシーを訓練する自己対戦レシピを採用している。

4. どうやって有効だと検証した?

有効性は、シミュレーション速度(毎秒130万エージェントステップ)の測定、ゼロショットでの都市間・データセット間の一般化(左側通行の創発を含む)の実証、val14とInterPlanスイートでのトップ性能の達成、Waymo Open Sim Agentsリアリズムベンチマークでの他のデモンストレーションなし手法との比較、および車とトラックのダイナミクスを扱う運転ポリシーと車両・歩行者・自転車を共同制御するシミュエージェントの両方での有効性の実証によって行われた。

5. 議論はある?

要旨からは、議論や限界についての明示的な記述は不明である。ただし、シミュレーションの忠実度と速度のトレードオフ、手続き的生成によるシナリオの多様性が現実世界の分布をどの程度カバーするか、ゼロショット一般化の限界、自己対戦のみで訓練されたポリシーの安全性保証などが潜在的な議論の対象となり得るが、要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている研究は、Waymo Open Sim Agentsベンチマーク、InterPlanスイート、および参照アンカー自己対戦手法(具体的な名称は不明)である。次に読むべき論文としては、これらのベンチマークや関連する自己対戦手法の詳細を報告した論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhouchonghao Wu, Akshay Rangesh, Weixin Li, Wei-Jer Chang, Zachary Lee, Saeed Bonab, Tim Wang, Wei Zhan

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Training robust autonomous driving agents requires a simulator fast enough for reinforcement learning at scale, realistic enough to ground behavior in real-world map structure, and diverse enough to cover the safety-critical long tail that logged data rarely contains. We present TerraZero, a procedural driving simulator and self-play training stack that meets these goals. A configurable C engine runs simulation on the CPU and policy inference on the GPU over a zero-copy path, sustaining 1.3M agent-steps per second on a single server-grade GPU, far faster than existing object-level simulators, while keeping fidelity lighter single-agent systems omit: heterogeneous agents, multiple dynamics models, and full traffic-rule enforcement. TerraZero uses logged data only as a source of real-world map geometry, populating each map with randomized rule-based road users and signal controllers and randomizing agent dynamics, rewards, and sizes per episode, so one map yields an effectively unbounded set of scenarios. Every reported policy trains from scratch by reinforcement learning alone, with zero human demonstrations, no imitation, no logged trajectories, and no fallback planner at inference, on a compute-efficient self-play recipe scaled across GPUs. The policies generalize zero-shot across cities and datasets, including emergent left-hand-traffic driving without explicit supervision. As an ego policy, a single checkpoint is, to our knowledge, the first fully learned policy to top both val14 and the interactive long-tail InterPlan suite. On Waymo Open Sim Agents realism the same recipe outperforms other demonstration-free methods and is competitive with the strongest reference-anchored self-play method. One stack serves both roles: state-of-the-art demonstration-free driving policies across dynamics for cars and trucks, and sim agents that jointly control vehicles, pedestrians, and cyclists.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI