日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/HMIarXiv:2604.08031

自動運転におけるLLM対応マルチプランナー・スケジューリングによるオープンエンド指示の実現

Open-Ended Instruction Realization with LLM-Enabled Multi-Planner Scheduling in Autonomous Vehicles

シェア:XThreadsFacebookLINEはてブBluesky

乗客の自然言語によるオープンエンドな指示をLLMで解釈し、複数のMPCベース運動プランナーをスケジューリングして制御信号に変換する枠組みを提案。クローズドループ評価用ベンチマークも導入し、タスク完了率向上とLLMクエリコスト削減を実証した。

詳しい要約

1. どんなもの?

- 自動運転における乗客の操作要求を自然言語で受け取り、制御信号に変換する枠組み。 - LLMが指示を解釈し、複数のMPCベースのモーションプランナをスケジュールする実行可能スクリプトを生成。 - 計画軌道を制御信号に変換し、解釈可能性と追跡可能性を確保。 - 閉ループ設定でのオープンエンド指示実現のベンチマークを導入。

2. 先行研究と比べてどこがすごい?

- 従来のHMI研究は乗客の操作ニーズを軽視。 - 自然言語を制御信号に変換する際の解釈可能性と追跡可能性の課題を解決。 - 指示実現ベースラインと比較してタスク完了率を大幅改善。 - LLMクエリコストを削減し、専門AD手法と同等の安全性とコンプライアンスを達成。 - LLM推論遅延に対する耐性が高い。

3. 技術・手法の肝は?

- LLMを活用して指示を解釈し、実行可能スクリプトを生成。 - リアルタイムフィードバックに基づき複数のMPCベースモーションプランナをスケジュール。 - スケジューリング中心の設計で、異なるタイムスケールで意味推論と車両制御を分離。 - 高レベル指示から低レベル行動への透明で追跡可能な意思決定チェーンを構築。

4. どうやって有効だと検証した?

- 高忠実度評価ツールが存在しないため、閉ループ設定でのオープンエンド指示実現のベンチマークを導入。 - 包括的な実験により、指示実現ベースラインと比較してタスク完了率が大幅に向上。 - LLMクエリコストの削減、専門AD手法と同等の安全性とコンプライアンス、LLM推論遅延への耐性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法が明示されていないため、同分野の定番としてModel Predictive Control (MPC)、Large Language Model (LLM) in Autonomous Driving、Human-Machine Interaction (HMI) に関する論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiawei Liu, Xun Gong, Fen Fang, Muli Yang, Bohao Qu, Yunfeng Hu, Hong Chen, Xulei Yang, Qing Guo

分類: cs.RO, cs.CV

原文アブストラクト

Most Human-Machine Interaction (HMI) research overlooks the maneuvering needs of passengers in autonomous driving (AD). Natural language offers an intuitive interface, yet translating passenger open-ended instructions into control signals, without sacrificing interpretability and traceability, remains a challenge. This study proposes an instruction-realization framework that leverages a large language model (LLM) to interpret instructions, generates executable scripts that schedule multiple model predictive control (MPC)-based motion planners based on real-time feedback, and converts planned trajectories into control signals. This scheduling-centric design decouples semantic reasoning from vehicle control at different timescales, establishing a transparent, traceable decision-making chain from high-level instructions to low-level actions. Due to the absence of high-fidelity evaluation tools, this study introduces a benchmark for open-ended instruction realization in a closed-loop setting. Comprehensive experiments reveal that the framework significantly improves task-completion rates over instruction-realization baselines, reduces LLM query costs, achieves safety and compliance on par with specialized AD approaches, and exhibits considerable tolerance to LLM inference latency. For more qualitative illustrations and a clearer understanding.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI