日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転VLAarXiv:2511.19221

Percept-WAM: 知覚強化型世界認識行動モデルによる堅牢なエンドツーエンド自動運転

Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

2D/3D知覚を単一の視覚言語モデルに統合し、World-PV/World-BEVトークンとグリッド条件付き予測で長尾・遠距離・小物体に強い自動運転モデルを提案。

詳しい要約

1. どんなもの?

- 自動運転向けのEnd-to-Endモデル「Percept-WAM」を提案 - World-Awareness-Action Modelの一種で、単一のVLM内に2D/3D scene understandingを暗黙的に統合 - 2D/3D知覚タスクをWorld-PV/World-BEV tokensに統一し、座標とconfidenceを符号化 - 知覚結果とtrajectory control出力を直接生成可能 - 長尾・遠距離・小物体シナリオでの安定性向上を狙う

2. 先行研究と比べてどこがすごい?

- 既存VLMはspatial grounding/understandingが弱く、VLA系は知覚・localization能力が限定的 - QA形式のspatial reasoningに頼らず、2D/3D知覚をtoken表現で統合する点が新しい - 単一VLMで2D/3D scene understandingを暗黙統合する初の試みと主張 - 事前学習済みVLMパラメータを活用し、logical reasoning等のgeneral intelligenceを保持 - 古典的detector/segmenterに匹敵または上回る知覚性能を報告

3. 技術・手法の肝は?

- World-PV/World-BEV tokensで2D/3D知覚を統一表現 - 各tokenがspatial coordinatesとconfidenceを符号化 - dense object perception向けにgrid-conditioned prediction mechanismを導入 - IoU-aware scoringとparallel autoregressive decodingを組み合わせ - 事前学習済みVLMを活用し、知覚出力とtrajectory controlを直接出力

4. どうやって有効だと検証した?

- 下流知覚ベンチマークで古典的detector/segmenterと比較 - COCO 2D detectionで51.7 mAP、nuScenes BEV 3D detectionで58.9 mAPを達成 - trajectory decoderと統合しnuScenes/NAVSIMでplanning性能を評価 - NAVSIMのPMDSでDiffusionDriveを2.1上回る - 定性結果でopen-vocabularyおよびlong-tail generalizationの強さを示す

5. 議論はある?

- 長尾・遠距離・小物体での安定性改善を主張 - open-vocabulary/long-tail generalizationを定性結果で示す - ただし要旨からは失敗事例や限界、計算コストの議論は不明 - 定量比較の詳細設定やablationは要旨からは不明

6. 次に読むべき論文は?

- DiffusionDrive(NAVSIMで比較対象) - VLA系のEnd-to-End自動運転研究 - VLMベースのspatial grounding/3D perception研究 - nuScenes/NAVSIM/COCOを用いたBEV detection・planning関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianhua Han, Meng Tian, Jiangtong Zhu, Fan He, Huixin Zhang, Sitong Guo, Dechang Zhu, Hao Tang, Pei Xu, Yuze Guo, Minzhe Niu, Haojie Zhu, Qichao Dong, Xuechao Yan, Siyuan Dong, Lu Hou, Qingqiu Huang, Xiaosong Jia, Hang Xu

分類: cs.CV, cs.RO

原文アブストラクト

Autonomous driving heavily relies on accurate and robust spatial perception. Many failures arise from inaccuracies and instability, especially in long-tail scenarios and complex interactions. However, current vision-language models are weak at spatial grounding and understanding, and VLA systems built on them therefore show limited perception and localization ability. To address these challenges, we introduce Percept-WAM, a perception-enhanced World-Awareness-Action Model that is the first to implicitly integrate 2D/3D scene understanding abilities within a single vision-language model (VLM). Instead of relying on QA-style spatial reasoning, Percept-WAM unifies 2D/3D perception tasks into World-PV and World-BEV tokens, which encode both spatial coordinates and confidence. We propose a grid-conditioned prediction mechanism for dense object perception, incorporating IoU-aware scoring and parallel autoregressive decoding, improving stability in long-tail, far-range, and small-object scenarios. Additionally, Percept-WAM leverages pretrained VLM parameters to retain general intelligence (e.g., logical reasoning) and can output perception results and trajectory control outputs directly. Experiments show that Percept-WAM matches or surpasses classical detectors and segmenters on downstream perception benchmarks, achieving 51.7/58.9 mAP on COCO 2D detection and nuScenes BEV 3D detection. When integrated with trajectory decoders, it further improves planning performance on nuScenes and NAVSIM, e.g., surpassing DiffusionDrive by 2.1 in PMDS on NAVSIM. Qualitative results further highlight its strong open-vocabulary and long-tail generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI