日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2505.05288

PlaceIt3D:実3Dシーンにおける言語誘導物体配置

PlaceIt3D: Language-Guided Object Placement in Real 3D Scenes

シェア:XThreadsFacebookLINEはてブBluesky

3Dシーンの点群と言語指示から、物体をどこに置くべきか推論して配置する新タスクを提案し、ベンチマーク・データセット・ベースライン手法を構築した。

詳しい要約

1. どんなもの?

- 本論文は,実世界の3Dシーンにおける言語誘導型物体配置(Language-Guided Object Placement in Real 3D Scenes)という新しいタスクを導入している. - 入力として3Dシーンの点群,3Dアセット,および3Dアセットをどこに置くべきかを大まかに記述したテキストプロンプトが与えられる. - タスクは,プロンプトに従った有効な配置を見つけることである. - このタスクは,複数の有効解があるため曖昧であり,3D幾何学的関係と自由空間の推論を必要とする点で,3Dシーンにおける他の言語誘導型ローカリゼーションタスク(例えばgrounding)とは異なる特有の課題を持つ. - 本論文は,このタスクを開始するために,新しいベンチマークと評価プロトコルを提案し,このタスクで3D LLMを訓練するための新しいデータセットと,非自明なベースラインとなる最初の手法を導入している. - この挑戦的なタスクと新しいベンチマークは,汎用3D LLMモデルを評価・比較するためのベンチマークスイートの一部となる可能性があると筆者らは考えている.

2. 先行研究と比べてどこがすごい?

- 先行研究として,3Dシーンにおける言語誘導型ローカリゼーションタスク(groundingなど)が挙げられているが,それらと比較して,本タスクは複数の有効解があるため曖昧であり,3D幾何学的関係と自由空間の推論を必要とする点で特有の課題を持つ. - 本論文は,この新しいタスクに対して,新しいベンチマークと評価プロトコルを提案し,3D LLMを訓練するための新しいデータセットと最初の手法を提供している. - 具体的な先行研究との性能比較は要旨からは不明である.

3. 技術・手法の肝は?

- 本論文では,言語誘導型物体配置タスクのための最初の手法を非自明なベースラインとして提案している. - 具体的な技術や手法の肝は要旨からは不明である. - ただし,3D LLMをこのタスクで訓練するための新しいデータセットを導入している.

4. どうやって有効だと検証した?

- 本論文では,新しいベンチマークと評価プロトコルを提案している. - 具体的な検証方法や実験結果は要旨からは不明である.

5. 議論はある?

- 本論文は,この挑戦的なタスクと新しいベンチマークが,汎用3D LLMモデルを評価・比較するためのベンチマークスイートの一部となる可能性があると述べている. - 具体的な議論や限界については要旨からは不明である.

6. 次に読むべき論文は?

- 要旨で参照されている研究として,3Dシーンにおける言語誘導型ローカリゼーションタスク(groundingなど)が挙げられる. - 関連手法として,3D LLM(3D Large Language Model)が挙げられる. - その他の具体的な論文は要旨からは不明である.

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahmed Abdelreheem, Filippo Aleotti, Jamie Watson, Zawar Qureshi, Abdelrahman Eldesokey, Peter Wonka, Gabriel Brostow, Sara Vicente, Guillermo Garcia-Hernando

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We introduce the novel task of Language-Guided Object Placement in Real 3D Scenes. Our model is given a 3D scene's point cloud, a 3D asset, and a textual prompt broadly describing where the 3D asset should be placed. The task here is to find a valid placement for the 3D asset that respects the prompt. Compared with other language-guided localization tasks in 3D scenes such as grounding, this task has specific challenges: it is ambiguous because it has multiple valid solutions, and it requires reasoning about 3D geometric relationships and free space. We inaugurate this task by proposing a new benchmark and evaluation protocol. We also introduce a new dataset for training 3D LLMs on this task, as well as the first method to serve as a non-trivial baseline. We believe that this challenging task and our new benchmark could become part of the suite of benchmarks used to evaluate and compare generalist 3D LLM models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI