日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3DグラウンディングarXiv:2508.01197

粗から細へのアプローチによるマルチモーダル3D占有グラウンディング

A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding

シェア:XThreadsFacebookLINEはてブBluesky

自然言語記述に基づき3D空間内の物体をボクセル単位で特定する新しいベンチマークと、視覚・テキスト・点群を統合したエンドツーエンドモデルGroundingOccを提案。

詳しい要約

1. どんなもの?

- 自動運転のための3D occupancy grounding タスクを提案する研究 - 自然言語記述に基づき屋外シーン内の物体を voxel レベルで特定する - nuScenes dataset 上に構築した benchmark を導入 - 言語と voxel-level occupancy 注釈を統合し、従来の bounding box より精密な物体知覚を可能にする - 併せて end-to-end モデル GroundingOcc を提案 - 視覚・テキスト・point cloud の特徴を統合し、粗から細へ物体位置と occupancy を予測する

2. 先行研究と比べてどこがすごい?

- 既存の visual grounding は bounding box に依存し、fine-grained な詳細を捉えにくい - bounding box 内の全 voxel が occupied とは限らず、物体表現が不正確になる問題がある - 本研究は voxel-level occupancy 注釈と言語を統合した benchmark を導入し、従来の grounding より精密な物体知覚を提供する - 提案 GroundingOcc は既存 baseline を 3D occupancy grounding で上回ると報告 - 具体的な数値比較は要旨からは不明

3. 技術・手法の肝は?

- GroundingOcc は multi-modal learning による end-to-end モデル - 視覚・テキスト・point cloud の特徴を組み合わせる - 粗から細へ物体位置と occupancy 情報を予測 - 構成要素 - multimodal encoder: 特徴抽出 - occupancy head: voxel-wise 予測 - grounding head: localization の refinement - 補助モジュール - 2D grounding module と depth estimation module が幾何理解を強化し性能を向上

4. どうやって有効だと検証した?

- 提案 benchmark 上で extensive experiments を実施 - 既存 baseline と比較し、3D occupancy grounding で優位であることを示す - 具体的な評価指標・数値・ablation の詳細は要旨からは不明 - dataset は https://github.com/RONINGOD/GroundingOcc で公開

5. 議論はある?

- 要旨からは不明 - 限界・失敗事例・計算コスト・注釈コストなどの議論は明示されていない - 示唆される論点として、bounding box 依存の不正確さを voxel-level occupancy で扱う点が挙げられるが、詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- nuScenes dataset を用いた 3D perception / occupancy 予測の関連研究 - visual grounding および 3D grounding の既存手法(要旨では個別名の参照なし) - multi-modal learning による視覚・言語・point cloud 統合の関連研究 - depth estimation や 2D grounding を補助タスクとして用いる手法 - 具体的な比較対象論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhan Shi, Song Wang, Junbo Chen, Jianke Zhu

分類: cs.CV, cs.RO

原文アブストラクト

Visual grounding aims to identify objects or regions in a scene based on natural language descriptions, essential for spatially aware perception in autonomous driving. However, existing visual grounding tasks typically depend on bounding boxes that often fail to capture fine-grained details. Not all voxels within a bounding box are occupied, resulting in inaccurate object representations. To address this, we introduce a benchmark for 3D occupancy grounding in challenging outdoor scenes. Built on the nuScenes dataset, it integrates natural language with voxel-level occupancy annotations, offering more precise object perception compared to the traditional grounding task. Moreover, we propose GroundingOcc, an end-to-end model designed for 3D occupancy grounding through multi-modal learning. It combines visual, textual, and point cloud features to predict object location and occupancy information from coarse to fine. Specifically, GroundingOcc comprises a multimodal encoder for feature extraction, an occupancy head for voxel-wise predictions, and a grounding head to refine localization. Additionally, a 2D grounding module and a depth estimation module enhance geometric understanding, thereby boosting model performance. Extensive experiments on the benchmark demonstrate that our method outperforms existing baselines on 3D occupancy grounding. The dataset is available at https://github.com/RONINGOD/GroundingOcc.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI