視覚言語モデルによるゼロショット3D視覚グラウンディング
Zero-Shot 3D Visual Grounding from Vision-Language Models
2Dの視覚言語モデルを活用し、3D専用の学習データなしで3Dシーン内の物体を自然言語で特定するゼロショット手法SeeGroundを提案。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Rong Li, Shijie Li, Lingdong Kong, Xulei Yang, Junwei Liang
分類: cs.CV, cs.RO
原文アブストラクト
3D Visual Grounding (3DVG) seeks to locate target objects in 3D scenes using natural language descriptions, enabling downstream applications such as augmented reality and robotics. Existing approaches typically rely on labeled 3D data and predefined categories, limiting scalability to open-world settings. We present SeeGround, a zero-shot 3DVG framework that leverages 2D Vision-Language Models (VLMs) to bypass the need for 3D-specific training. To bridge the modality gap, we introduce a hybrid input format that pairs query-aligned rendered views with spatially enriched textual descriptions. Our framework incorporates two core components: a Perspective Adaptation Module that dynamically selects optimal viewpoints based on the query, and a Fusion Alignment Module that integrates visual and spatial signals to enhance localization precision. Extensive evaluations on ScanRefer and Nr3D confirm that SeeGround achieves substantial improvements over existing zero-shot baselines -- outperforming them by 7.7% and 7.1%, respectively -- and even rivals fully supervised alternatives, demonstrating strong generalization under challenging conditions.
関連論文
- AgentGrounder: マルチモーダル言語モデルを用いたゼロショット3D視覚点群グラウンディング3D視覚グラウンディング
- 複数一貫した2D-3Dマッピングによる頑健なゼロショット3D視覚グラウンディング3D視覚グラウンディング
- Audio-3DVG：音声と点群の統合による3D視覚グラウンディング3D視覚グラウンディング
- LLM駆動の空間推論によるオープンボキャブラリ3D視覚グラウンディングのためのニューラル表現フレームワーク3D視覚グラウンディング
- DSM: 3D視覚グラウンディングのための多様なセマンティックマップの構築3D視覚グラウンディング
- SeeGround: ゼロショットオープンボキャブラリ3D視覚グラウンディングのための見て接地する手法3D視覚グラウンディング
