AgentGrounder: マルチモーダル言語モデルを用いたゼロショット3D視覚点群グラウンディング

- 3D Visual Grounding (3DVG) を zero-shot で行うフレームワーク AgentGrounder を提案。 - 色付き point cloud 上で直接動作し、タスク特化の 3D 学習を必要としない。 - 二段階設計: (1) offline 段階で 3D model を適用し Object Lookup Table (OLT) を構築 (instance ID, semantic label, 3D bounding box)。 - (2) online 段階で tool-driven agent が query を分解し、OLT から関連候補のみを取得、geometric scoring を実行。 - 色・材質・視点依存の手がかりなど追加の視覚証拠が必要な場合に image rendering を on-demand で発火。

- 近年の zero-shot 手法は 2D vision-language models (LVLMs) を活用するが、既存の multi-view images に依存し、標準的な 3D segmentation ツールの限られた意味・空間詳細に苦しむ。 - AgentGrounder は色付き point cloud 上で直接動作し、タスク特化の 3D 学習を不要とする。 - 固定の anchor-target matching pipeline と比較して、cascading matching errors を低減。 - 無関係な物体で prompt が過負荷になるのを避け、context-window efficiency を改善。 - ScanRefer と Nr3D の zero-shot 設定で SeeGround に対し一貫した改善 (+2.5% Acc@0.5 on ScanRefer, +6.3% on Nr3D, Nr3D view-independent queries で +6.3%)。

- 二段階設計を採用。 - Offline 段階: 3D model を適用し Object Lookup Table (OLT) を構築 (instance ID, semantic label, 3D bounding box)。 - Online 段階: tool-driven agent が各 query を分解。 - OLT から関連候補のみを取得 (selective retrieval)。 - geometric scoring を実行。 - 追加の視覚証拠 (色・材質・視点依存の手がかり) が必要な場合に image rendering を on-demand で発火 (adaptive visual inspection)。

- ScanRefer と Nr3D の zero-shot 設定で評価。 - SeeGround と比較し、ScanRefer で +2.5% Acc@0.5、Nr3D で +6.3% の改善を観測。 - Nr3D の view-independent queries で +6.3% の顕著な向上。 - これらの結果から、selective retrieval、geometric reasoning、adaptive visual inspection の組み合わせが open-vocabulary 3D grounding の実用的で堅牢な基盤となることを示す。

- 固定の anchor-target matching pipeline と比較して cascading matching errors を低減し、context-window efficiency を改善する点を主張。 - 色付き point cloud 上で直接動作し、タスク特化の 3D 学習を不要とする点を強調。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

- SeeGround (比較対象として言及)。 - 2D vision-language models (LVLMs) を活用した zero-shot 3DVG 手法 (関連手法として言及)。 - 標準的な 3D segmentation ツール (関連手法として言及)。 - ScanRefer、Nr3D (評価データセット)。