日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2606.12396

VLGA: 自動運転のための視覚・言語・幾何・行動モデル

VLGA: Vision-Language-Geometry-Action Models for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けのVLAモデルに、LiDAR点群からの密な幾何情報を再構成する学習を導入し、3D世界の理解と行動決定の精度を向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルに Geometry を第4のモダリティとして追加した VLGA を提案。 - 自動運転向けに、視覚・言語・行動に加え、LiDAR に対する per-pixel pointmap regression loss で dense 3D 世界を再構成するよう監督。 - これにより、行動を密な3D空間に接地させることを目指す。

2. 先行研究と比べてどこがすごい?

- 既存 VLA は、frozen 3D foundation model の特徴を注入するが、policy がそれを使うことを保証する目的関数がない。 - または sparse box/map loss で幾何を制約するが、dense な空間信号を与えない。 - VLGA は dense 3D 再構成を監督信号として導入し、これらの限界を克服。

3. 技術・手法の肝は?

- 視覚・言語・行動に加え、geometry を第4のモダリティとして導入。 - 専用 expert を設け、LiDAR に対する per-pixel pointmap regression loss で監督。 - これにより dense 3D 世界の再構成を学習。

4. どうやって有効だと検証した?

- 開ループ評価: nuScenes データセット。 - 閉ループ評価: Bench2Drive データセット。 - 開ループ nuScenes で ego status なしの VLA 手法中 SOTA を達成: L2 0.50 m 平均、3秒衝突率 0.18%。 - 閉ループ Bench2Drive で driving score 79.08 を達成、最強の prior VLA を +0.71 上回る。効率と快適性は同等。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存の VLA 手法、frozen 3D foundation model を利用する手法、sparse box/map loss を用いる手法。 - データセット: nuScenes, Bench2Drive。 - 関連手法: Vision-Language-Action (VLA) モデル、3D foundation model。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Yao, Dhruva Dixith Kurra, Tom Lampo, Zezhou Cheng, Danhua Guo, Burhan Yaman

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language-action (VLA) models can describe scenes and reason about them in language, yet still struggle to ground their actions in the dense 3D world around them. Existing approaches either inject features from a frozen 3D foundation model without an objective that ensures the policy uses them, or constrain geometry with sparse box and map losses that provide no dense spatial signal. We introduce VLGA, the first vision-language-action model supervised to reconstruct the dense 3D world it drives through. VLGA introduces geometry as a fourth modality alongside vision, language, and action through a dedicated expert supervised by a per-pixel pointmap regression loss against LiDAR. Extensive experiments conducted on challenging nuScenes and Bench2Drive datasets for open-loop and closed-loop evaluations, respectively, show the superiority of VLGA over counterpart VLA methods. In particular, on open-loop nuScenes, VLGA sets a new state of the art among VLA methods without ego status, with the lowest L2 (0.50\,m average) and 3-second collision rate (0.18\%). On closed-loop Bench2Drive, VLGA attains the state-of-the-art driving score of 79.08, +0.71 over the strongest prior VLA, at comparable efficiency and comfort.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI