日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/行動計画arXiv:2601.12358

プロンプトから路面へ:自動運転車のためのLMMベースエージェント型行動木生成フレームワーク

From Prompts to Pavement: LMMs-based Agentic Behavior-Tree Generation Framework for Autonomous Vehicles

シェア:XThreadsFacebookLINEはてブBluesky

LLMと視覚言語モデルをエージェントとして使い、自動運転車の行動木をその場で生成・適応させるフレームワークを提案し、CARLA+Nav2で障害物回避を実証した。

詳しい要約

1. どんなもの?

- 自律走行車(AV)向けに、LLMとLVMを活用してBehavior Tree(BT)を動的に生成・適応するエージェントフレームワークを提案。 - Descriptor、Planner、Generatorの3エージェント構成。 - CARLA+Nav2シミュレーションに統合し、ベースラインBTの失敗時のみ起動。 - 予期せぬ障害物(道路封鎖など)を人間の介入なしに回避するナビゲーションを実現。 - 静的なBTベースラインと比較し、多様な運転シナリオへの拡張性を示す概念実証。

2. 先行研究と比べてどこがすごい?

- 従来のBehavior Tree(BT)は構造的だが静的で、手動調整が必須であり、SAE Level 5自律性には限界があった。 - 本研究はLLMとLVMを組み合わせ、オンザフライでBTを生成・適応する点で先行研究と異なる。 - 静的なBTベースラインと比較して、予期せぬ障害物への対応が可能。 - 人間の介入なしに動作する点が優れている。

3. 技術・手法の肝は?

- Descriptorエージェントがchain-of-symbolsプロンプティングを適用し、シーンの危険度を評価。 - Plannerエージェントがin-context learningを用いて高レベルのサブゴールを構築。 - GeneratorエージェントがXML形式で実行可能なBTサブツリーを合成。 - システムはベースラインBTの失敗時にのみトリガーされ、CARLA+Nav2シミュレーションに統合。

4. どうやって有効だと検証した?

- CARLA+Nav2シミュレーション環境で評価。 - ベースラインBTが失敗する状況(例:道路封鎖)で、システムが起動し、人間の介入なしに障害物を回避するナビゲーションに成功。 - 静的なBTベースラインとの比較により、有効性を実証。 - 多様な運転シナリオへの拡張性を示す概念実証として検証。

5. 議論はある?

- 本手法は概念実証であり、多様な運転シナリオへの拡張が示唆されているが、限界や課題については要旨からは不明。 - 実世界での適用可能性や安全性、リアルタイム性能に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 静的なBehavior Tree(BT)ベースライン。 - 関連手法: 大規模言語モデル(LLM)、マルチモーダル視覚モデル(LVM)、chain-of-symbolsプロンプティング、in-context learning。 - 同分野の定番: CARLAシミュレータ、Nav2ナビゲーションスタック。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Omar Y. Goba, Ahmed Y. Gado, Catherine M. Elias, Ahmed Hussein

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Autonomous vehicles (AVs) require adaptive behavior planners to navigate unpredictable, real-world environments safely. Traditional behavior trees (BTs) offer structured decision logic but are inherently static and demand labor-intensive manual tuning, limiting their applicability at SAE Level 5 autonomy. This paper presents an agentic framework that leverages large language models (LLMs) and multi-modal vision models (LVMs) to generate and adapt BTs on the fly. A specialized Descriptor agent applies chain-of-symbols prompting to assess scene criticality, a Planner agent constructs high-level sub-goals via in-context learning, and a Generator agent synthesizes executable BT sub-trees in XML format. Integrated into a CARLA+Nav2 simulation, our system triggers only upon baseline BT failure, demonstrating successful navigation around unexpected obstacles (e.g., street blockage) with no human intervention. Compared to a static BT baseline, this approach is a proof-of-concept that extends to diverse driving scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI