日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3DグラウンディングarXiv:2511.01755

3EED: あらゆる場所のあらゆるものを3Dでグラウンディング

3EED: Ground Everything Everywhere in 3D

シェア:XThreadsFacebookLINEはてブBluesky

車・ドローン・四足歩行ロボットのRGBとLiDARデータを統合した大規模3D視覚グラウンディングベンチマークを構築し、クロスプラットフォーム評価手法を提案した。

詳しい要約

1. どんなもの?

- 3D visual grounding のための新しい benchmark「3EED」を提案 - vehicle・drone・quadruped の3種類の platform から取得した RGB と LiDAR データを含む - 多 platform・多 modal・大規模な outdoor 3D grounding benchmark - 規模 - 128,000 以上の object と 22,000 以上の検証済み referring expression を収録 - 多様な outdoor scene を対象 - 付随物 - dataset と benchmark toolkit を公開 - in-domain と cross-platform の評価 protocol を整備

2. 先行研究と比べてどこがすごい?

- 既存 benchmark の課題を指摘 - indoor 中心の focus に限定 - single-platform の制約 - 小規模なデータ量 - 3EED の優位点 - vehicle・drone・quadruped の multi-platform 構成 - RGB と LiDAR の multi-modal 構成 - 既存 dataset の約 10x の規模 - outdoor scene を対象に含む点で適用範囲を拡大

3. 技術・手法の肝は?

- scalable な annotation pipeline を構築 - vision-language model prompting を利用 - human verification を組み合わせて高品質な spatial grounding を担保 - cross-platform learning を支援する技術 - platform-aware normalization - cross-modal alignment - 評価設計 - in-domain と cross-platform の benchmark protocol を策定

4. どうやって有効だと検証した?

- 構築した benchmark protocol に基づき in-domain と cross-platform の評価を実施 - その結果、有意な performance gap を確認 - 汎化可能な 3D grounding の難しさを示す知見 - annotation 品質は human verification により担保 - 個別の baseline 名や定量値の詳細は要旨からは不明

5. 議論はある?

- 観察された performance gap を、generalizable 3D grounding の challenge かつ opportunity と位置づけ - cross-platform 設定での汎化性能に課題が残ることを示唆 - 具体的な error 分析や限界の詳細は要旨からは不明 - 倫理・privacy 面の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として vision-language model prompting を用いた annotation 研究 - cross-modal alignment や platform-aware normalization に関する domain adaptation 系研究 - 同分野の定番として 3D visual grounding の代表的手法や indoor 3D grounding benchmark 系の論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rong Li, Yuhao Dong, Tianshuai Hu, Ao Liang, Youquan Liu, Dongyue Lu, Liang Pan, Lingdong Kong, Junwei Liang, Ziwei Liu

分類: cs.CV, cs.RO

原文アブストラクト

Visual grounding in 3D is the key for embodied agents to localize language-referred objects in open-world environments. However, existing benchmarks are limited to indoor focus, single-platform constraints, and small scale. We introduce 3EED, a multi-platform, multi-modal 3D grounding benchmark featuring RGB and LiDAR data from vehicle, drone, and quadruped platforms. We provide over 128,000 objects and 22,000 validated referring expressions across diverse outdoor scenes -- 10x larger than existing datasets. We develop a scalable annotation pipeline combining vision-language model prompting with human verification to ensure high-quality spatial grounding. To support cross-platform learning, we propose platform-aware normalization and cross-modal alignment techniques, and establish benchmark protocols for in-domain and cross-platform evaluations. Our findings reveal significant performance gaps, highlighting the challenges and opportunities of generalizable 3D grounding. The 3EED dataset and benchmark toolkit are released to advance future research in language-driven 3D embodied perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI