日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2605.24004

推論-想像-実行: 自動運転のためのワールドモデルを用いたクローズドループLLM意思決定

Reason--Imagine--Act: Closed-Loop LLM Decision Making with World Models for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

LLMの意味的な意思決定と物理的な安全性のギャップを埋めるため、LLM推論器とアクション条件付きワールドモデルを組み合わせたクローズドループフレームワークRIAを提案。各ステップでLLMがアクション候補を生成し、ワールドモデルが短期的なロールアウトで安全性を検証して最適なアクションを選択する。

詳しい要約

1. どんなもの?

- LLMとworld modelを組み合わせた自動運転の閉ループ意思決定フレームワーク - Reason--Imagine--Act (RIA) を提案 - LLMが行動テンプレートと候補サブ行動を提案 - world modelが短期rolloutを実行 - safety scorerが最も安全な実行可能行動を選択 - 次ステップの推論にフィードバック

2. 先行研究と比べてどこがすごい?

- 既存手法はオンライン言語推論で動力学検証なし、またはworld modelをオフラインで使用 - 意味意図と物理的実現可能性のギャップが課題 - RIAはオンライン安全性検証を閉ループで統合 - 同一閉ループインターフェースでtraining-freeベースライン(CARLA TM, MADA)を一貫して上回る

3. 技術・手法の肝は?

- LLM reasonerとaction-conditioned world modelを結合 - 各ステップでLLMが行動テンプレートと候補サブ行動を生成 - world modelが短horizon rolloutを実施 - safety scorerが安全性を評価し実行行動を選択 - 選択結果を次回推論へフィードバックする閉ループ構造

4. どうやって有効だと検証した?

- 統一CARLA point-goalプロトコル(1000 episodes)で評価 - ルート完了率80.05%、到達率51.10%、衝突率0.20%を達成 - 同一閉ループインターフェース下でCARLA TMやMADAなどのtraining-freeベースラインと比較 - 核心的な閉ループ指標で一貫した優位性を確認

5. 議論はある?

- 意味意図と物理的実現可能性のギャップを閉ループで埋める点を主張 - オンライン安全性検証の有効性を示す - 具体的な限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明

6. 次に読むべき論文は?

- CARLA TM - MADA - その他のLLMベース自動運転意思決定手法 - world modelを用いた自動運転プランニング - 要旨で参照/比較されている研究は上記の通り

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengqi Sun, Yiwen Sun, Boxuan Liu, Tailai Chen, Tianxu Guo, Jiabin Liu

分類: cs.AI, cs.CV, cs.LG, cs.RO

原文アブストラクト

Large language models (LLMs) are promising for autonomous driving, but semantics-only decision policies can yield physically unsafe behavior in dynamic traffic. Existing methods either perform online language reasoning without explicit dynamics verification or use world models mainly in offline pipelines, leaving a gap between semantic intent and physical feasibility at decision time. We propose Reason--Imagine--Act (RIA), a closed-loop framework that couples an LLM reasoner with an action-conditioned world model for online safety verification. At each step, the LLM proposes an action template and candidate sub-actions, the world model performs short-horizon rollouts, and a safety scorer selects the safest executable action with feedback to the next reasoning step. Under a unified CARLA point-goal protocol (1000 episodes), RIA achieves 80.05% route completion, 51.10% arrival rate, and 0.20% collision rate. Under the same closed-loop interface, RIA consistently outperforms training-free baselines, including CARLA TM and MADA, on core closed-loop metrics. For reproducibility, code is available at https://github.com/pku-smart-city/source_code/tree/main/RIA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI