日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D占有予測arXiv:2603.02609

VLMFusionOcc3D: VLM支援によるマルチモーダル3Dセマンティック占有予測

VLMFusionOcc3D: VLM Assisted Multi-Modal 3D Semantic Occupancy Prediction

シェア:XThreadsFacebookLINEはてブBluesky

自律運転向けに、視覚言語モデル(VLM)の言語的知識を利用して曖昧なボクセル特徴を安定した意味概念に固定し、悪天候下でも頑健な3Dセマンティック占有予測を実現するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 自動運転向けの密な3D semantic occupancy predictionのためのマルチモーダルフレームワーク。 - 多視点画像とLiDAR点群を統合ボクセル空間に投影し、VLMの言語事前知識を活用。 - 悪天候下での性能劣化やスパースな幾何グリッドの意味的曖昧さに対処。 - プラグアンドプレイモジュールとして既存のボクセルベース手法を強化。

2. 先行研究と比べてどこがすごい?

- 従来のボクセルベース占有モデルはスパースな幾何グリッドでの意味的曖昧さと悪天候時の性能低下に苦しむ。 - 本手法はVLMの言語事前知識を活用し、曖昧なボクセル特徴を安定した意味概念にアンカー。 - 天候を考慮した動的融合により、リアルタイムの環境信頼性に基づいてセンサ寄与を再重み付け。 - 最先端のボクセルベースラインを一貫して改善し、特に悪天候シナリオで大幅な向上を達成。

3. 技術・手法の肝は?

- デュアルブランチ特徴抽出パイプライン:多視点画像とLiDAR点群を統合ボクセル空間に投影。 - Instance-driven VLM Attention (InstVLM):ゲート付きクロスアテンションとLoRA適応CLIP埋め込みを用いて高レベルな意味・地理的事前知識を3Dボクセルに注入。 - Weather-Aware Adaptive Fusion (WeathFusion):車両メタデータと天候条件付きプロンプトを利用した動的ゲーティング機構でセンサ寄与を再重み付け。 - Depth-Aware Geometric Alignment (DAGA) loss:密なカメラ由来幾何とスパースで空間的に正確なLiDARリターンを整合。

4. どうやって有効だと検証した?

- nuScenesとSemanticKITTIデータセットでの広範な実験。 - プラグアンドプレイモジュールが最先端のボクセルベースベースラインの性能を一貫して向上させることを実証。 - 特に困難な天候シナリオで顕著な改善を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:voxel-based occupancy models、Vision-Language Models (VLMs)、CLIP、LoRA、nuScenes、SemanticKITTI。 - 関連手法:Instance-driven VLM Attention (InstVLM)、Weather-Aware Adaptive Fusion (WeathFusion)、Depth-Aware Geometric Alignment (DAGA) loss。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: A. Enes Doruk, Hasan F. Ates

分類: cs.CV, cs.RO

原文アブストラクト

This paper introduces VLMFusionOcc3D, a robust multimodal framework for dense 3D semantic occupancy prediction in autonomous driving. Current voxel-based occupancy models often struggle with semantic ambiguity in sparse geometric grids and performance degradation under adverse weather conditions. To address these challenges, we leverage the rich linguistic priors of Vision-Language Models (VLMs) to anchor ambiguous voxel features to stable semantic concepts. Our framework initiates with a dual-branch feature extraction pipeline that projects multi-view images and LiDAR point clouds into a unified voxel space. We propose Instance-driven VLM Attention (InstVLM), which utilizes gated cross-attention and LoRA-adapted CLIP embeddings to inject high-level semantic and geographic priors directly into the 3D voxels. Furthermore, we introduce Weather-Aware Adaptive Fusion (WeathFusion), a dynamic gating mechanism that utilizes vehicle metadata and weather-conditioned prompts to re-weight sensor contributions based on real-time environmental reliability. To ensure structural consistency, a Depth-Aware Geometric Alignment (DAGA) loss is employed to align dense camera-derived geometry with sparse, spatially accurate LiDAR returns. Extensive experiments on the nuScenes and SemanticKITTI datasets demonstrate that our plug-and-play modules consistently enhance the performance of state-of-the-art voxel-based baselines. Notably, our approach achieves significant improvements in challenging weather scenarios, offering a scalable and robust solution for complex urban navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI