日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2508.04642

RoboTron-Sim: シミュレーションによる難ケースで実世界運転を改善

RoboTron-Sim: Improving Real-World Driving via Simulated Hard-Case

シェア:XThreadsFacebookLINEはてブBluesky

高リスクな稀ケースを網羅したシミュレーションデータセットHASSと、環境・ハードウェア差に適応する手法を提案し、実世界の自動運転性能を約50%向上させた。

詳しい要約

1. どんなもの?

- 実世界の自動運転データ収集が困難な希少・高リスク・長尾・複雑相互作用のシナリオを、シミュレーション上の hard case で補う枠組み - シミュレーション由来の hard case を用いて実世界走行性能を改善する RoboTron-Sim を提案 - 13 の高リスク edge-case カテゴリと day/night・sunny/rainy のバランス環境を含む HASS データセットを構築 - multimodal large language models を用いた open-loop planning を対象

2. 先行研究と比べてどこがすごい?

- 実世界データでは希少高リスク・長尾・複雑相互作用の収集が難しく、既存の自動運転システムはこうした状況で性能が低いという課題を出発点に置く - シミュレーションの hard case を活用して実世界の critical situation での走行を改善する点が特徴 - nuScenes 上で challenging scenario の走行性能を約 50% 改善し、real-world open-loop planning で state-of-the-art を達成したと報告 - 具体的な比較対象の先行研究名は要旨からは不明

3. 技術・手法の肝は?

- HASS(Hard-case Augmented Synthetic Scenarios): 13 の高リスク edge-case カテゴリと day/night・sunny/rainy のバランス環境を備えたシミュレーションデータセット - Scenario-aware Prompt Engineering(SPE): シナリオに応じたプロンプト設計により multimodal large language models に学習させる - Image-to-Ego Encoder(I2E Encoder): 実世界とシミュレーション間の環境差・ハードウェア差に適応するためのエンコーダ - これらにより HASS から実世界の困難な運転技能を効果的に学習させる構成

4. どうやって有効だと検証した?

- nuScenes 上で extensive experiments を実施 - challenging scenario における走行性能が約 50% 改善したと報告 - real-world open-loop planning で state-of-the-art の結果を達成 - qualitative results により、希少な高リスク運転シナリオの扱いが改善することを示す - 具体的な評価指標・ベースラインの詳細は要旨からは不明

5. 議論はある?

- 実世界とシミュレーションの環境差・ハードウェア差への適応が論点で、SPE と I2E Encoder で対処 - 希少高リスク・長尾・複雑相互作用のデータ不足をシミュレーションで補う有効性を主張 - 定量的改善(約 50%)と qualitative results を示すが、限界や失敗事例の詳細は要旨からは不明 - 実車・closed-loop での検証や sim-to-real ギャップの残存については要旨からは不明

6. 次に読むべき論文は?

- HASS の基盤となるシミュレーションプラットフォームや hard-case 生成手法(要旨に固有名の記載なし) - multimodal large language models を用いた autonomous driving / open-loop planning の関連研究(要旨に固有名の記載なし) - nuScenes を用いた end-to-end planning の代表的手法(例: UniAD、VAD など同分野の定番) - Scenario-aware Prompt Engineering や prompt engineering を用いた運転タスク適応の関連研究 - sim-to-real 適応・domain adaptation に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baihui Xiao, Chengjian Feng, Zhijian Huang, Feng yan, Yujie Zhong, Lin Ma

分類: cs.RO, cs.CV

原文アブストラクト

Collecting real-world data for rare high-risk scenarios, long-tailed driving events, and complex interactions remains challenging, leading to poor performance of existing autonomous driving systems in these critical situations. In this paper, we propose RoboTron-Sim that improves real-world driving in critical situations by utilizing simulated hard cases. First, we develop a simulated dataset called Hard-case Augmented Synthetic Scenarios (HASS), which covers 13 high-risk edge-case categories, as well as balanced environmental conditions such as day/night and sunny/rainy. Second, we introduce Scenario-aware Prompt Engineering (SPE) and an Image-to-Ego Encoder (I2E Encoder) to enable multimodal large language models to effectively learn real-world challenging driving skills from HASS, via adapting to environmental deviations and hardware differences between real-world and simulated scenarios. Extensive experiments on nuScenes show that RoboTron-Sim improves driving performance in challenging scenarios by around 50%, achieving state-of-the-art results in real-world open-loop planning. Qualitative results further demonstrate the effectiveness of RoboTron-Sim in better managing rare high-risk driving scenarios. Project page: https://stars79689.github.io/RoboTron-Sim/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI