日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2507.05227

NavigScene:視覚範囲を超えた自動運転のための局所知覚とグローバルナビゲーションの橋渡し

NavigScene: Bridging Local Perception and Global Navigation for Beyond-Visual-Range Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

局所的な視覚情報とグローバルなナビゲーション情報を統合する補助データセットNavigSceneを提案し、ナビゲーション誘導の推論・選好最適化・視覚言語行動モデルの3手法で自動運転の知覚・予測・計画・QA性能を向上させた。

詳しい要約

1. どんなもの?

- 自動運転システムにおける局所的なセンサ情報と広域ナビゲーション情報のギャップを埋める研究 - NavigScene と呼ぶ、ナビゲーション誘導付きの自然言語データセットを提案 - 人間の運転環境を模擬し、視覚範囲を超えた推論を可能にする補助データセット - データセットに加え、3つのパラダイムを開発 - Navigation-guided Reasoning - Navigation-guided Preference Optimization - Navigation-guided Vision-Language-Action model

2. 先行研究と比べてどこがすごい?

- 従来の Q&A・perception・prediction・planning は局所的な視覚情報に依存 - 人間の運転者が日常的に使う広域ナビゲーション文脈を組み込めていなかった - 本研究は local sensor data と global navigation information のギャップを明示的に扱う - NavigScene により視覚範囲外の推論 (beyond visual range) を可能にする点が新規 - 多様な運転シナリオへの汎化改善を狙う点が先行研究と異なる

3. 技術・手法の肝は?

- NavigScene: ナビゲーション誘導付き自然言語データセット - 3つの相補的パラダイムで活用 - Navigation-guided Reasoning: ナビゲーション文脈を prompting に組み込む - Navigation-guided Preference Optimization: Direct Preference Optimization を拡張した強化学習手法 - ナビゲーション関連の要約情報への選好を確立 - Navigation-guided Vision-Language-Action model: ナビゲーション誘導と vision-language model を従来の driving model と feature fusion で統合

4. どうやって有効だと検証した?

- Extensive experiments を実施 - perception, prediction, planning, question-answering の各タスクで評価 - 提案手法が各タスクで性能を有意に改善することを示す - 視覚範囲外の推論能力の向上を確認 - 多様な運転シナリオへの汎化改善を確認 - 具体的なデータセット名・指標・ベースラインは要旨からは不明

5. 議論はある?

- より包括的な自動運転システムへの重要な一歩と位置づけ - 複雑で不慣れな環境をより高い信頼性と安全性で走行可能にすると主張 - 限界・失敗事例・計算コスト・実車適用性に関する議論は要旨からは不明 - データセットの規模やバイアス、評価の公平性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- Direct Preference Optimization (DPO) の原論文 - Vision-Language-Action model に関する代表的研究 - Vision-language model を用いた自動運転 Q&A の先行研究 - ナビゲーション誘導型の自動運転データセットに関する研究 - 要旨で参照/比較されている個別研究は明示されていないため、上記は同分野の定番・関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qucheng Peng, Chen Bai, Guoxiang Zhang, Bo Xu, Xiaotong Liu, Xiaoyin Zheng, Chen Chen, Cheng Lu

分類: cs.RO, cs.CV, cs.LG, cs.MM, cs.SY, eess.SY

原文アブストラクト

Autonomous driving systems have made significant advances in Q&A, perception, prediction, and planning based on local visual information, yet they struggle to incorporate broader navigational context that human drivers routinely utilize. We address this critical gap between local sensor data and global navigation information by proposing NavigScene, an auxiliary navigation-guided natural language dataset that simulates a human-like driving environment within autonomous driving systems. Moreover, we develop three complementary paradigms to leverage NavigScene: (1) Navigation-guided Reasoning, which enhances vision-language models by incorporating navigation context into the prompting approach; (2) Navigation-guided Preference Optimization, a reinforcement learning method that extends Direct Preference Optimization to improve vision-language model responses by establishing preferences for navigation-relevant summarized information; and (3) Navigation-guided Vision-Language-Action model, which integrates navigation guidance and vision-language models with conventional driving models through feature fusion. Extensive experiments demonstrate that our approaches significantly improve performance across perception, prediction, planning, and question-answering tasks by enabling reasoning capabilities beyond visual range and improving generalization to diverse driving scenarios. This work represents a significant step toward more comprehensive autonomous driving systems capable of navigating complex, unfamiliar environments with greater reliability and safety.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI