シーングラフ/一人称視点/関節物体2026/3/1arXiv:2603.28732

Pandora: 一人称視点映像からの関節付き3Dシーングラフ構築

Pandora: Articulated 3D Scene Graphs from Egocentric Vision

人間がProject Ariaグラスを装着して探索する際の一人称視点映像から、関節付き物体のモデルを復元し、3Dシーングラフに統合する手法を提案。ロボットの操作能力に依存せず、人間の自然な探索行動を活用することで、ロボット単独では得られない環境情報を獲得できる。

詳しい要約

1. どんなもの？

- 一人称視点のegocentricデータからarticulated 3D scene graphsを構築する手法「Pandora」を提案。 - Project Aria glassesを装着した人間が自然に探索する様子を記録し、そのデータを利用。 - ロボットの身体能力やスキルセットの制約によるマッピングの盲点を補い、物体の可動部（articulation）や物体-容器関係をモデル化。 - 構築されたシーングラフをBoston Dynamics Spotに適用し、隠れた対象物の取得タスクを実証。

2. 先行研究と比べてどこがすごい？

- 従来のロボット自身のセンサーによる一人称マップは、ロボットのembodimentやスキルセットの制約で環境の多くの側面が未探索のままになる。 - 例えば、ロボットが引き出しを開けたり壁のキャビネットにアクセスできない場合、マップ表現が不完全になる。 - 本研究では、人間がProject Aria glassesを装着して自然に探索したegocentricデータを活用することで、これらの盲点を狭める。 - 単純なヒューリスティクスを用いて、他の入力モダリティに基づく最先端手法と同等の品質でarticulate object partsのモデルを復元できることを示した。

3. 技術・手法の肝は？

- Project Aria glassesで人間が自然にシーンを探索したegocentricデータを収集。 - 単純なヒューリスティクスを用いて、articulate object partsのモデルを復元。 - 復元したモデルを3D scene graph表現に統合し、物体の動力学や物体-容器関係の理解を向上。 - 具体的なヒューリスティクスの内容や統合方法の詳細は要旨からは不明。

4. どうやって有効だと検証した？

- egocentricデータから復元したarticulate object partsのモデルが、他の入力モダリティに基づく最先端手法と同等の品質であることを示した。 - 構築したarticulated 3D scene graphsが、ロボットのmobile manipulationタスクの能力を向上させることを実証。 - Boston Dynamics Spotに3D scene graphのみを入力として与え、隠れた対象物を取得するアプリケーションで検証。

5. 議論はある？

- ロボットの一人称マップの盲点を人間のegocentricデータで補うアプローチの有効性を示唆。 - 単純なヒューリスティクスで最先端手法と同等の品質が得られることを主張。 - 限界や課題、今後の展望についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：他の入力モダリティに基づくstate-of-the-art methods（具体的名称は要旨からは不明）。 - 関連手法：3D scene graph representations、mobile manipulation、Project Aria glasses、Boston Dynamics Spot。 - 同分野の定番：articulated object modeling、egocentric vision、robot mapping。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alan Yu, Yun Chang, Christopher Xie, Luca Carlone

分類: cs.RO, cs.CV

原文アブストラクト

Robotic mapping systems typically approach building metric-semantic scene representations from the robot's own sensors and cameras. However, these "first person" maps inherit the robot's own limitations due to its embodiment or skillset, which may leave many aspects of the environment unexplored. For example, the robot might not be able to open drawers or access wall cabinets. In this sense, the map representation is not as complete, and requires a more capable robot to fill in the gaps. We narrow these blind spots in current methods by leveraging egocentric data captured as a human naturally explores a scene wearing Project Aria glasses, giving a way to directly transfer knowledge about articulation from the human to any deployable robot. We demonstrate that, by using simple heuristics, we can leverage egocentric data to recover models of articulate object parts, with quality comparable to those of state-of-the-art methods based on other input modalities. We also show how to integrate these models into 3D scene graph representations, leading to a better understanding of object dynamics and object-container relationships. We finally demonstrate that these articulated 3D scene graphs enhance a robot's ability to perform mobile manipulation tasks, showcasing an application where a Boston Dynamics Spot is tasked with retrieving concealed target items, given only the 3D scene graph as input.

arXivで原文を読む →arXiv概要ページ

← 論文一覧