日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.19776

Occ-VLM: 占有度に基づく屋内シーン理解のための視覚言語モデル

Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding

シェア:XThreadsFacebookLINEはてブBluesky

2D画像のみから3Dシーン占有度を幾何学的先行情報として再構成し、前景トークンを3D空間に対応付けてLLMで理解する、統一的な3D視覚言語モデルを提案した。

詳しい要約

1. どんなもの?

- 3D scene understandingのための新しいVLMフレームワーク - 純粋にposed RGB imagesのみを入力とし、単一の2D vision encoderを使用 - 3D scene occupancyを補助的な幾何学的priorとして再構成し、前景2D tokensを3D空間に空間的に関連付ける - これらのtokensをLLMでデコードし、統合的なscene understandingを実現 - 多視点occupancy predictionでSOTA、3D VQAと3D dense captioningで3D入力VLMと同等の性能を達成

2. 先行研究と比べてどこがすごい?

- 既存手法は明示的な3D入力(point cloudsやRGB-D sequences)に依存するか、追加の3D geometry encoderを導入して2D画像から3D-aware visual tokensを導出していた - これらの設計は3D幾何学的知覚とvision-language pre-trainingで学習された豊富な2D semanticsを構造的に分離し、統一的な3D vision-language表現の発展を妨げていた - Occ-VLMは純粋にposed RGB imagesのみで動作し、単一の2D vision encoderを使用することで、この分離を解消 - 3D scene occupancyを補助priorとして再構成し、2D tokensを3D空間に関連付けることで、幾何学的知覚とvision-language推論を統合

3. 技術・手法の肝は?

- 純粋にposed RGB imagesを入力とし、単一の2D vision encoderを使用 - 3D scene occupancyを補助的な幾何学的priorとして再構成 - このoccupancy priorを利用して、前景2D tokensを3D空間に空間的に関連付ける - 関連付けられたtokensをLLMでデコードし、統合的なscene understandingを実行 - これにより、3D幾何学的知覚と2D semanticsの統合を実現

4. どうやって有効だと検証した?

- 広範な実験を実施 - 多視点occupancy predictionでstate-of-the-art性能を達成 - 3D Visual Question Answering (VQA)と3D dense captioningベンチマークで3D入力VLMと同等の性能を達成 - これにより、正確な幾何学的知覚と堅牢なvision-language推論の両方を実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 3D-input VLMs(3D VQAや3D dense captioningで比較対象) - 明示的な3D入力(point clouds, RGB-D sequences)を用いる手法 - 追加の3D geometry encoderを導入する手法 - 3D scene understandingのためのVLM全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianing Li, Zhou Fang, Yijiang Liu, Li Du

分類: cs.CV

原文アブストラクト

Recently, vision-language models (VLMs) have made significant progress in 3D scene understanding, driving advances in applications such as embodied intelligence and robotic vision. However, existing approaches typically either rely directly on explicit 3D inputs (e.g., point clouds or RGB-D sequences), or introduce an additional 3D geometry encoder to derive 3D-aware visual tokens from 2D images. Such designs structurally decouple 3D geometric perception from the rich 2D semantics learned via vision-language pre-training, hindering the development of a unified 3D vision-language representation. In this work, we propose Occ-VLM, a novel framework for 3D scene understanding that operates purely on posed RGB images and employs a single 2D vision encoder. Specifically, Occ-VLM reconstructs 3D scene occupancy as an auxiliary geometric prior, which is utilized to spatially associate foreground 2D tokens with 3D space. These tokens are then decoded by a Large Language Model (LLM) for unified scene understanding. Extensive experiments demonstrate that Occ-VLM achieves both accurate geometric perception and robust vision-language reasoning: it attains state-of-the-art performance on multi-view occupancy prediction, while performing on par with 3D-input VLMs on 3D Visual Question Answering (VQA) and 3D dense captioning benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI