日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2605.16858

歩行者を考慮したLLM駆動型自動運転の行動計画

Pedestrian-Aware LLM-Driven Behavioral Planning for Autonomous Vehicles

シェア:XThreadsFacebookLINEはてブBluesky

自動運転車の歩行者との複雑な相互作用に対応するため、大規模言語モデルを用いた意思決定フレームワークを提案し、シミュレーションで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 歩行者対応の自動運転行動計画フレームワーク - LLMベースの意思決定 - 構造化シーン観測を自然言語プロンプトに変換 - 歩行者意図推論とリスク予測 - 慎重な戦術的運転決定を生成 - 運動プランナーで実行 - 対象: 都市環境の歩行者相互作用 - 予期せぬ飛び出し、引き返し横断、ためらい、双方向横断

2. 先行研究と比べてどこがすごい?

- RLベースAV制御との比較 - 構造化交通では良好だが、予測不能な歩行者相互作用やOODシナリオで汎化困難 - 手作り報酬と不透明決定が安全クリティカル環境で制限 - 提案手法の優位性 - zero-shotで衝突なし成功率68% (RLベースライン17.7%を大幅に上回る) - few-shot episodic memoryで96.0% (custom DQN 82.0%を超える) - より早い応答、広い安全バッファ、解釈可能で人間整合的な決定

3. 技術・手法の肝は?

- LLMベース意思決定フレームワーク - 構造化シーン観測を自然言語推論プロンプトに変換 - LLMが歩行者意図を推論しリスクを予測 - 慎重な戦術的運転決定を生成 - 運動プランナーが決定を実行 - 滑らかで運動学的に実行可能な制御を保証 - few-shot episodic memoryの利用 - 単一歩行者シナリオで性能向上

4. どうやって有効だと検証した?

- SUMOでの評価 - 複数の歩行者相互作用シナリオ - 予期せぬ飛び出し、引き返し横断、ためらい、双方向横断 - zero-shot評価 - LLMエージェント: 衝突なし成功率68% - deep RLベースライン: 17.7% - few-shot episodic memory評価 - 単一歩行者シナリオ: 96.0% - custom DQN: 82.0% - cross-behavior評価 - 引き返し相互作用からのメモリが未見のためらいと双方向横断に転移 - 成功率82.0%と90.0%

5. 議論はある?

- 提案手法の利点 - 早期応答、広い安全バッファ、解釈可能で人間整合的な決定 - 限界や議論点 - 要旨からは不明 - 具体的な失敗ケースや計算コスト、リアルタイム性への言及なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - Reinforcement learning (RL)-based AV control systems - deep RL baselines - custom DQN controller - 関連手法 - Large Language Model (LLM)-based decision-making - few-shot episodic memory - SUMOシミュレーション

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aidana Baimbetova, Haruki Yonekura, Hamada Rizk, Hirozumi Yamaguchi

分類: cs.RO, cs.AI

原文アブストラクト

Autonomous Vehicles (AVs) must make reliable decisions in dense urban environments where pedestrian behavior is variable, sometimes abnormal, and often unseen during training. Reinforcement learning (RL)-based AV control systems perform well in structured traffic but struggle to generalize to unpredictable pedestrian interactions and out-of-distribution scenarios. Their reliance on handcrafted rewards and opaque decisions further limits their suitability for safety-critical, pedestrian-rich environments. To address these limitations, we introduce a Large Language Model (LLM)-based decision-making framework for pedestrian-aware behavioral planning. The system converts structured scene observations into natural-language reasoning prompts, enabling the LLM to infer pedestrian intent, anticipate risk, and generate cautious tactical driving decisions. These decisions are executed by a motion planner that ensures smooth, kinematically feasible control. We evaluate the framework in SUMO across multiple pedestrian-interaction scenarios, including unexpected jaywalking, turn-back crossing, hesitation, and bidirectional crossing. In zero-shot evaluation, the LLM-based agent achieves a 68% collision-free success rate, substantially outperforming deep RL baselines (17.7%). With few-shot episodic memory in a single-pedestrian scenario, performance increases to 96.0%, exceeding a custom DQN controller (82.0%). Cross-behavior evaluation further shows that memory derived from turn-back interactions transfers to unseen hesitation and bidirectional crossing scenarios, achieving 82.0% and 90.0% success, respectively. The system consistently initiates earlier responses, maintains wider safety buffers, and produces interpretable, human-aligned decisions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI