日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/強化学習/LLMarXiv:2505.15793

HCRMP:LLMヒント付き文脈強化学習による自動運転フレームワーク

HCRMP: A LLM-Hinted Contextual Reinforcement Learning Framework for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

LLMの幻覚に依存しすぎる従来手法を改善するため、LLMを意味的ヒント生成に限定しRLと相対的に独立させる新パラダイムを提案し、CARLAで検証した。

詳しい要約

1. どんなもの?

- LLM と RL を統合した自動運転(AD)向けの新しい枠組み - LLM-Hinted RL paradigm を提唱し、LLM は state augmentation と policy optimization のための semantic hints を生成 - RL agent は policy learning を通じて誤った semantic indications に対抗 - 具体的なアーキテクチャとして HCRMP(LLM-Hinted Contextual Reinforcement Learning Motion Planner)を提案 - Augmented Semantic Representation Module、Contextual Stability Anchor Module、Semantic Cache Module で構成 - 複雑な交通状況下での motion planning を対象とする

2. 先行研究と比べてどこがすごい?

- 既存の LLM-Dominated RL 手法は LLM 出力に過度に依存し、hallucination に弱い - 最先端 LLM でも運転関連の必須タスクでの non-hallucination rate は約 57.95% にとどまると評価 - そのため LLM の hallucination が driving policy の性能を直接損なう恐れがある - 本研究は LLM と RL の相対的な独立性を保つことが hallucination 問題の解決に重要だと主張 - LLM を hint 生成に限定し、RL agent が policy learning で誤った semantic indications を補正 - この LLM-Hinted RL paradigm により、従来の LLM 依存型より堅牢な枠組みを目指す

3. 技術・手法の肝は?

- LLM-Hinted RL paradigm の下で HCRMP を設計 - Augmented Semantic Representation Module:state space を拡張 - Contextual Stability Anchor Module:knowledge base の情報を用いて multi-critic weight hints の信頼性を高める - Semantic Cache Module:LLM の低頻度 guidance と RL の高頻度 control を円滑に統合 - LLM は state augmentation と policy optimization のための semantic hints を生成 - RL agent は policy learning により潜在的な誤った semantic indications に対抗し、運転性能を確保

4. どうやって有効だと検証した?

- CARLA での広範な実験により HCRMP の総合的な運転性能を検証 - 異なる交通密度を含む多様な運転条件下で最大 80.3% の task success rate を達成 - safety-critical な運転条件下では collision rate を 11.4% 低減 - これにより複雑なシナリオでの運転性能が効果的に向上することを示す

5. 議論はある?

- LLM の hallucination が driving policy に与える影響を問題視 - 最先端 LLM の non-hallucination rate が約 57.95% である点を評価結果として提示 - LLM と RL の相対的独立性を保つことが hallucination 問題の解決に重要という立場 - 具体的な限界や今後の課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存の LLM-Dominated RL 手法(個別名は要旨からは不明) - LLM と RL を統合した自動運転研究(LLM-Dominated RL methods) - CARLA を用いた自動運転の motion planning 研究 - hallucination 評価や LLM の信頼性に関する研究(具体的な論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiwen Chen, Bo Leng, Zhuoren Li, Hanming Deng, Guizhe Jin, Ran Yu, Huanxi Wen

分類: cs.RO, cs.LG

原文アブストラクト

Integrating Large Language Models (LLMs) with Reinforcement Learning (RL) can enhance autonomous driving (AD) performance in complex scenarios. However, current LLM-Dominated RL methods over-rely on LLM outputs, which are prone to hallucinations. Evaluations show that state-of-the-art LLM indicates a non-hallucination rate of only approximately 57.95% when assessed on essential driving-related tasks. Thus, in these methods, hallucinations from the LLM can directly jeopardize the performance of driving policies. This paper argues that maintaining relative independence between the LLM and the RL is vital for solving the hallucinations problem. Consequently, this paper is devoted to propose a novel LLM-Hinted RL paradigm. The LLM is used to generate semantic hints for state augmentation and policy optimization to assist RL agent in motion planning, while the RL agent counteracts potential erroneous semantic indications through policy learning to achieve excellent driving performance. Based on this paradigm, we propose the HCRMP (LLM-Hinted Contextual Reinforcement Learning Motion Planner) architecture, which is designed that includes Augmented Semantic Representation Module to extend state space. Contextual Stability Anchor Module enhances the reliability of multi-critic weight hints by utilizing information from the knowledge base. Semantic Cache Module is employed to seamlessly integrate LLM low-frequency guidance with RL high-frequency control. Extensive experiments in CARLA validate HCRMP's strong overall driving performance. HCRMP achieves a task success rate of up to 80.3% under diverse driving conditions with different traffic densities. Under safety-critical driving conditions, HCRMP significantly reduces the collision rate by 11.4%, which effectively improves the driving performance in complex scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI