日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
3D視覚グラウンディングarXiv:2507.00669

Audio-3DVG：音声と点群の統合による3D視覚グラウンディング

Audio-3DVG: Unified Audio -- Point Cloud Fusion for 3D Visual Grounding

シェア:XThreadsFacebookLINEはてブBluesky

音声指示から3D点群中の対象物体を特定するタスクに対し、物体言及検出と音声誘導注意を組み合わせたフレームワークを提案し、標準データセットに音声記述を合成して評価した。

詳しい要約

1. どんなもの？

- 音声発話に基づいて3D point cloud 内の対象物体を特定する Audio-based 3D Visual Grounding (Audio-3DVG) の研究 - 音声と空間情報を統合する簡潔なフレームワーク Audio-3DVG を提案 - 音声を単一入力として扱わず、Object Mention Detection と Audio-Guided Attention の2要素に分解 - ScanRefer, Sr3D, Nr3D 向けに音声記述を合成しベンチマークを整備

2. 先行研究と比べてどこがすごい？

- 従来の 3DVG は主にテキスト記述を用いており、音声を用いる設定は未開拓で困難 - ASR と speech representation learning の進展に動機づけられ、音声を直接活用 - 音声を単一入力として扱わず構造化して扱う点が従来と異なる - 音声ベースの grounding で新たな state-of-the-art を達成し、テキストベース手法とも競合すると報告

3. 技術・手法の肝は？

- 音声をそのまま入力せず、2つの補完的要素に分解 - (i) Object Mention Detection: 音声内で言及される物体を明示的に特定する multi-label classification - (ii) Audio-Guided Attention: 対象候補と言及物体の相互作用をモデル化し、混雑した3D環境での識別性を向上 - 音声情報と空間情報を統合する枠組み

4. どうやって有効だと検証した？

- ScanRefer, Sr3D, Nr3D の標準 3DVG データセットに対して音声記述を合成しベンチマークを構築 - 実験の結果、音声ベース grounding で新たな state-of-the-art を達成 - テキストベース手法とも競合する性能を示したと報告 - 個々のコンポーネントの ablation 等の詳細は要旨からは不明

5. 議論はある？

- 音声を Object Mention Detection と Audio-Guided Attention に分解する設計の有効性を示唆 - 音声言語を3D vision タスクへ統合する可能性を強調 - 合成音声によるベンチマークの妥当性や実環境音声への一般化については要旨からは不明 - 限界や失敗事例に関する議論は要旨からは不明

6. 次に読むべき論文は？

- ASR および speech representation learning の関連研究 - テキストベース 3DVG の代表的手法（ScanRefer, Sr3D, Nr3D を用いる研究） - Object Mention Detection に関連する multi-label classification 研究 - Audio-Guided Attention に関連する attention 機構の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Duc Cao-Dinh, Khai Le-Duc, Anh Dao, Bach Phan Tat, Chris Ngo, Duy M. H. Nguyen, Nguyen X. Khanh, Thanh Nguyen-Tang

分類: cs.LG, cs.AI, cs.CV, cs.RO

原文アブストラクト

3D Visual Grounding (3DVG) involves localizing target objects in 3D point clouds based on natural language. While prior work has made strides using textual descriptions, leveraging spoken language-known as Audio-based 3D Visual Grounding-remains underexplored and challenging. Motivated by advances in automatic speech recognition (ASR) and speech representation learning, we propose Audio-3DVG, a simple yet effective framework that integrates audio and spatial information for enhanced grounding. Rather than treating speech as a monolithic input, we decompose the task into two complementary components. First, we introduce (i) Object Mention Detection, a multi-label classification task that explicitly identifies which objects are referred to in the audio, enabling more structured audio-scene reasoning. Second, we propose an (ii) Audio-Guided Attention module that models the interactions between target candidates and mentioned objects, enhancing discrimination in cluttered 3D environments. To support benchmarking, we (iii) synthesize audio descriptions for standard 3DVG datasets, including ScanRefer, Sr3D, and Nr3D. Experimental results demonstrate that Audio-3DVG not only achieves new state-of-the-art performance in audio-based grounding, but also competes with text-based methods, highlight the promise of integrating spoken language into 3D vision tasks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →