日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/軌道計画arXiv:2607.10438

IoT対応自動運転のための大規模言語モデル強化型微分可能軌道計画

Large Language Model Enhanced Differentiable Trajectory Planning for IoT-Enabled Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転の軌道計画において、大規模言語モデルを用いた意味的特徴抽出と微分可能最適化を組み合わせ、複雑な長尾相互作用や制約整合性の問題を解決するフレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、IoT対応自動運転のための、大規模言語モデル(LLM)により強化された微分可能な軌道計画フレームワークを提案する。模倣学習(IL)ベースのプランナーが抱える、複雑な長尾相互作用のカバレッジ不足、下流の制約付き最適化との整合性の弱さ、高次シーン意味情報の利用不足という問題に対処する。具体的には、周辺エージェント中心のデータ拡張戦略、複雑性を考慮した非同期LLM意味拡張モジュール、微分可能最適化モジュールを導入する。

2. 先行研究と比べてどこがすごい?

従来のILベースのプランナーは、大規模データセットで有望である一方、複雑な長尾相互作用のカバレッジが限定的で、下流の制約付き最適化との整合性が弱く、高次シーン意味情報をリアルタイム制約下で十分に活用できなかった。本手法は、データ拡張により追加データ収集なしで訓練分布を改善し、LLMによる意味拡張を非同期かつ複雑性に応じて行い、微分可能最適化によりプランナーと最適化を統合する点で優れている。

3. 技術・手法の肝は?

手法の核は3点。(1) 周辺エージェント中心のデータ拡張戦略:周辺エージェントの軌道を再編成し、追加の計画監視として利用することで、追加データ収集なしに訓練分布を改善する。(2) 複雑性を考慮した非同期LLM意味拡張モジュール:シーン関連の高次意味特徴を抽出し、オンラインのオーバーヘッドを制御する。(3) 微分可能最適化モジュール:明示的な残差ペナルティで生成軌道を洗練し、最適化勾配を上流のプランナーに逆伝播する。

4. どうやって有効だと検証した?

nuPlan閉ループ非反応および反応Hard20ベンチマークで、それぞれ総合スコア83.63と78.29を達成し、既存手法を上回る。さらに、CARLA-ROSテストにより、オンライン展開とリアルタイム閉ループ実行能力を検証した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、LLMの非同期利用によるオンラインオーバーヘッドの制御や、データ拡張の有効性などが議論の対象となり得る。また、ベンチマークでの性能は示されたが、実世界の多様なシナリオでの一般化や、LLMの遅延やコストに関する詳細な分析は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究は、模倣学習(IL)ベースのプランナー、nuPlanベンチマーク、CARLA-ROSテスト環境など。次に読むべき論文としては、nuPlanベンチマークを提案した論文や、ILベースの軌道計画の代表的な研究(例:Behavior Cloning、Transformer-based planner)が挙げられる。また、LLMを自動運転に応用した関連研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shihao Zhang, Jing Yang, Ziyu Song, Zheng Lin, Sunil Prajapat, Zhaochen Xia, Hemant Ghayvat, Haitao Ding, Lip Yee Por, Ashok Kumar Das

分類: cs.RO, cs.NI

原文アブストラクト

Autonomous driving planning is a key component of IoT-enabled intelligent transportation systems, requiring vehicles to generate safe, efficient, and executable trajectories in complex urban environments from multi-source contextual information. While imitation learning (IL) has shown promise on large-scale datasets, IL-based planners still suffer from limited coverage of complex long-tail interactions, weak consistency with downstream constrained refinement, and insufficient use of high level scene semantics under real time constraints. To address these issues, this paper proposes a large language model (LLM) enhanced differentiable trajectory planning framework for IoT-enabled autonomous driving. Specifically, we introduce a surrounding agent centric data augmentation strategy to reorganize sur rounding agent trajectories as additional planning supervision, thereby improving the training distribution without collecting additional raw data. We further design a complexity-aware asyn chronous LLM-based semantic enhancement module to extract scene-related high-level semantic features with controlled online overhead. In addition, a differentiable optimization module is incorporated to refine generated trajectories with explicit residual penalties while backpropagating optimization gradients to the upstream planner. Experiments show that the proposed method achieves the best overall scores of 83.63 and 78.29 on the nuPlan closed-loop nonreactive and reactive Hard20 benchmarks, respectively, and CARLA-ROS tests further verify its online deployment and real time closed-loop execution capability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI