日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2603.04222

PRAM-R:LLM誘導モダリティルーティングによる適応的自動運転のための知覚-推論-行動-記憶フレームワーク

PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転のマルチモーダル知覚を効率化するため、LLMが環境に応じてセンサモダリティを選択・重み付けするフレームワークを提案し、計算コスト削減と精度維持を実証した。

詳しい要約

1. どんなもの?

- 自律運転向けの統合フレームワーク PRAM-R を提案。 - Perception-Reasoning-Action-Memory の4要素で構成。 - LLM-Guided Modality Routing を採用。 - 非同期の dual-loop 設計。 - fast reactive loop:知覚と制御を担当。 - slow deliberative loop:推論による modality 選択と memory 更新。 - 環境文脈と sensor diagnostics を用いて modality を選択・重み付け。 - hierarchical memory で時間的一貫性と長期適応を支援。

2. 先行研究と比べてどこがすごい?

- 全 sensor 常時稼働の multimodal perception は計算コストが高いという課題に対処。 - LLM router による動的 modality 選択を導入。 - hysteresis-based stabilization で routing oscillations を 87.2% 削減。 - nuScenes で modality を 6.22% 削減しつつ、複雑都市環境で full-modality baseline と同等の trajectory accuracy を維持。 - 20% の memory recall を達成。 - 先行研究との具体的比較は要旨からは不明。

3. 技術・手法の肝は?

- 非同期 dual-loop アーキテクチャ。 - fast reactive loop:知覚・制御。 - slow deliberative loop:推論駆動の modality 選択と memory 更新。 - LLM router が環境文脈と sensor diagnostics に基づき modality を選択・重み付け。 - hierarchical memory module が時間的一貫性を保持し長期適応を支援。 - hysteresis-based stabilization で routing oscillations を抑制。

4. どうやって有効だと検証した?

- 2段階評価を実施。 - synthetic stress tests:安定性解析。 - routing oscillations が 87.2% 削減。 - real-world validation:nuScenes dataset。 - modality 6.22% 削減。 - memory recall 20%。 - 複雑都市シナリオで full-modality baseline と同等の trajectory accuracy を維持。

5. 議論はある?

- LLM 拡張アーキテクチャと hierarchical memory が効率的で適応的な multimodal perception を実現することを示唆。 - 計算コスト削減と性能維持の両立を主張。 - 限界や今後の課題、倫理的議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として以下が考えられる。 - LLM-based routing - hierarchical memory - multimodal perception - nuScenes dataset - hysteresis-based stabilization - 同分野の定番として autonomous driving の multimodal fusion や adaptive perception に関する研究を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Zhang, Xian Zhang, Saisi Zhao, Yinglei Song, Chengdong Wu, Nenad Petrovic, Alois Knoll

分類: cs.RO, cs.AI

原文アブストラクト

Multimodal perception enables robust autonomous driving but incurs unnecessary computational cost when all sensors remain active. This paper presents PRAM-R, a unified Perception-Reasoning-Action-Memory framework with LLM-Guided Modality Routing for adaptive autonomous driving. PRAM-R adopts an asynchronous dual-loop design: a fast reactive loop for perception and control, and a slow deliberative loop for reasoning-driven modality selection and memory updates. An LLM router selects and weights modalities using environmental context and sensor diagnostics, while a hierarchical memory module preserves temporal consistency and supports long-term adaptation. We conduct a two-stage evaluation: (1) synthetic stress tests for stability analysis and (2) real-world validation on the nuScenes dataset. Synthetic stress tests confirm 87.2% reduction in routing oscillations via hysteresis-based stabilization. Real-world validation on nuScenes shows 6.22% modality reduction with 20% memory recall while maintaining comparable trajectory accuracy to full-modality baselines in complex urban scenarios. Our work demonstrates that LLM-augmented architectures with hierarchical memory achieve efficient, adaptive multimodal perception in autonomous driving.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI