日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/自律走行arXiv:2510.11501

自律走行レースのための文脈認識型モデルベース強化学習

Context-Aware Model-Based Reinforcement Learning for Autonomous Racing

シェア:XThreadsFacebookLINEはてブBluesky

対戦相手の運転挙動をエピソードの文脈としてパラメータ化し、モデルベース強化学習に文脈認識機構cMaskを導入することで、未知の対戦相手挙動への汎化性能を向上させた。

詳しい要約

1. どんなもの?

- 自動運転、特にsimulated autonomous racing環境Roboracer(旧F1Tenth)におけるhead-to-head racingタスクを対象とした研究。 - 敵対車両の運転挙動をepisodeのcontextとしてパラメータ化し、contextual Markov decision processesとして学習問題を定式化。 - MBRLアルゴリズムの性能と汎化能力をベンチマークし、context-aware拡張cMaskを提案する。

2. 先行研究と比べてどこがすごい?

- 既存MBRLは環境やtransition dynamicsの変化に弱いことが示されている。 - 本研究はcontext-freeなMBRLとcontext-awareなMBRLを比較し、context-aware手法がout-of-distributionな敵対車両挙動に対してより良く汎化することを示す。 - 提案手法cMaskは、in-distributionな敵対車両に対して他のcontext-aware MBRL手法より性能向上と強い汎化能力を示す。

3. 技術・手法の肝は?

- head-to-head racingをcontextual Markov decision processesとして定式化。 - episodeのcontextを用いて敵対車両の運転挙動をパラメータ化し、それに伴いtransitionおよびreward dynamicsもパラメータ化する。 - 既存文献に対する新規のcontext-aware拡張としてcMaskを提案する。

4. どうやって有効だと検証した?

- simulated autonomous racing環境Roboracer(旧F1Tenth)においてMBRLアルゴリズムの挙動をベンチマーク。 - context-aware MBRLとcontext-free手法を比較し、out-of-distributionな敵対車両挙動への汎化を評価。 - cMaskを他のcontext-aware MBRL手法と比較し、in-distributionな敵対車両に対する性能と汎化能力を検証。

5. 議論はある?

- 要旨からは不明。 - ただし、context-aware MBRLがcontext-freeよりout-of-distributionな敵対車両挙動に汎化する点、cMaskがin-distributionで性能向上する点が主張されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されているMBRLアルゴリズムおよびcontext-aware MBRL手法(具体的名称は要旨からは不明)。 - 関連手法としてcMaskの基盤となる既存文献、およびRoboracer(旧F1Tenth)環境を用いたautonomous racing研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Emran Yasser Moustafa, Ivana Dusparic

分類: cs.LG, cs.RO

原文アブストラクト

Autonomous vehicles have shown promising potential to be a groundbreaking technology for improving the safety of road users. For these vehicles, as well as many other safety-critical robotic technologies, to be deployed in real-world applications, we require algorithms that can generalize well to unseen scenarios and data. Model-based reinforcement learning algorithms (MBRL) have demonstrated state-of-the-art performance and data efficiency across a diverse set of domains. However, these algorithms have also shown susceptibility to changes in the environment and its transition dynamics. In this work, we explore the performance and generalization capabilities of MBRL algorithms for autonomous driving, specifically in the simulated autonomous racing environment, Roboracer (formerly F1Tenth). We frame the head-to-head racing task as a learning problem using contextual Markov decision processes and parameterize the driving behavior of the adversaries using the context of the episode, thereby also parameterizing the transition and reward dynamics. We benchmark the behavior of MBRL algorithms in this environment and propose a novel context-aware extension of the existing literature, cMask. We demonstrate that context-aware MBRL algorithms generalize better to out-of-distribution adversary behaviors relative to context-free approaches. We also demonstrate that cMask displays strong generalization capabilities, as well as further performance improvement relative to other context-aware MBRL approaches when racing against adversaries with in-distribution behaviors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI