日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2603.06576

BEVLM: LLMの意味知識をBird's-Eye View表現に蒸留する

BEVLM: Distilling Semantic Knowledge from LLMs into Bird's-Eye View Representations

シェア:XThreadsFacebookLINEはてブBluesky

LLMの意味理解能力をBEV表現に統合し、自動運転の空間推論と安全性を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 自動運転にLLMを統合する研究。 - 既存手法は多視点・多フレーム画像を独立にトークン化しLLMに入力。 - 計算冗長性と空間一貫性の欠如が問題。 - BEV表現は空間構造を持つが意味的豊かさに欠ける。 - BEVLMは空間一貫性と意味蒸留されたBEV表現をLLMに接続するフレームワーク。

2. 先行研究と比べてどこがすごい?

- 従来は多視点画像を独立にLLMへ入力し、3D空間推論と幾何一貫性が不十分。 - BEV表現は幾何注釈タスクから学習され空間構造はあるが意味的豊かさが不足。 - BEVLMはBEV特徴を統一入力とし、LLMからBEVへ意味知識を蒸留。 - クロスビュー運転シーンでのLLM推論精度を46.0%向上。 - 安全クリティカルなシナリオでUniADとVADの閉ループE2E運転性能を最大28.2%改善。

3. 技術・手法の肝は?

- 空間一貫性と意味蒸留されたBEV表現をLLMに接続。 - BEV特徴を統一入力としてLLMに供給。 - LLMからBEV表現へ意味知識を蒸留。 - これによりクロスビュー推論と閉ループ運転性能を向上。 - 詳細なアーキテクチャや蒸留損失は要旨からは不明。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - クロスビュー運転シーンでのLLM推論精度が46.0%向上。 - 安全クリティカルなシナリオでUniADとVADの閉ループE2E運転性能が最大28.2%改善。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 既存手法の冗長計算と空間一貫性欠如を指摘。 - BEV表現の意味的不足を課題として挙げる。 - BEVLMの有効性を示すが、限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- UniAD - VAD - 関連手法としてBEVFormerやBEVDetなどのBEVベース手法。 - LLM統合自動運転手法(例:DriveGPT4、DriveLMなど)が考えられるが、要旨での参照はUniADとVADのみ。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thomas Monninger, Shaoyuan Xie, Qi Alfred Chen, Sihao Ding

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

The integration of Large Language Models (LLMs) into autonomous driving has attracted growing interest for their strong reasoning and semantic understanding abilities, which are essential for handling complex decision-making and long-tail scenarios. However, existing methods typically feed LLMs with tokens from multi-view and multi-frame images independently, leading to redundant computation and limited spatial consistency. This separation in visual processing hinders accurate 3D spatial reasoning and fails to maintain geometric coherence across views. On the other hand, Bird's-Eye View (BEV) representations learned from geometrically annotated tasks (e.g., object detection) provide spatial structure but lack the semantic richness of foundation vision encoders. To bridge this gap, we propose BEVLM, a framework that connects a spatially consistent and semantically distilled BEV representation with LLMs. Through extensive experiments, we show that BEVLM enables LLMs to reason more effectively in cross-view driving scenes, improving accuracy by 46.0%, by leveraging BEV features as unified inputs. Furthermore, by distilling semantic knowledge from LLMs into BEV representations, BEVLM significantly improves closed-loop end-to-end driving performance in safety-critical scenarios across UniAD and VAD, with gains of up to 28.2%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI