日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.12916

RoboRetriever: 動的シーングラフと能動・対話的知覚による単眼カメラロボットの物体探索

RoboRetriever: Single-Camera Robot Object Retrieval via Active and Interactive Perception with Dynamic Scene Graph

シェア:XThreadsFacebookLINEはてブBluesky

手首搭載の単眼RGB-Dカメラと自然言語指示のみで、動的階層シーングラフを構築・更新しながら能動知覚・対話知覚・マニピュレーションを統合し、散らかった環境で対象物体を探索・把持するフレームワークを提案。

詳しい要約

1. どんなもの?

- 単一の wrist-mounted RGB-D camera と自由形式の自然言語指示のみで実世界の物体検索を行うフレームワーク RoboRetriever を提案 - 視覚観測を dynamic hierarchical scene graph に接地し、物体の意味・幾何・物体間関係を時間的に保持 - supervisor module がこの記憶と指示から対象物体を推論し、active perception・interactive perception・manipulation を統合した行動を調整 - 混雑・部分観測環境での物体検索を対象とする

2. 先行研究と比べてどこがすごい?

- 既存の多くのロボットシステムは固定配置や複数カメラで完全な視界を前提とし、適応性の制約と高いハードウェアコストを伴う - 本研究は単一の wrist-mounted RGB-D camera のみで動作し、人間が片目で行うような視覚推論・視点調整・物理的相互作用を模倣 - 単一カメラゆえの部分観測を、active/interactive perception と動的シーングラフで補う点が特徴 - 詳細な定量比較は要旨からは不明

3. 技術・手法の肝は?

- dynamic hierarchical scene graph を構築・更新し、物体の semantics・geometry・inter-object relations を時間方向に符号化 - supervisor module がシーングラフとタスク指示を推論し、対象物体を特定して行動モジュールを統括 - active perception・interactive perception・manipulation を統合した行動モジュール - 新規 visual prompting scheme により large reasoning vision-language models を用い、意味的タスク目標と幾何的文脈に整合する 6-DoF camera pose を決定

4. どうやって有効だと検証した?

- 多様な実世界の物体検索タスクで評価 - 人間の介入を含むシナリオも含めて評価 - 単一の RGB-D camera のみで、混雑シーンにおける高い適応性と頑健性を示したと報告 - 具体的なデータセット名・指標・被験者数などは要旨からは不明

5. 議論はある?

- 単一カメラ・部分観測下での適応性と頑健性を主張 - 人間介入シナリオを含む点で実環境性を考慮 - 限界・失敗事例・計算コスト・large reasoning vision-language models 依存性などの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として dynamic scene graph を用いるロボティクス研究、active perception、interactive perception、large reasoning vision-language models を用いた visual prompting、6-DoF camera pose 推定に関する論文を次に読むべき - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hecheng Wang, Jiankun Ren, Jia Yu, Lizhe Qi, Yunquan Sun

分類: cs.RO

原文アブストラクト

Humans effortlessly retrieve objects in cluttered, partially observable environments by combining visual reasoning, active viewpoint adjustment, and physical interaction-with only a single pair of eyes. In contrast, most existing robotic systems rely on carefully positioned fixed or multi-camera setups with complete scene visibility, which limits adaptability and incurs high hardware costs. We present \textbf{RoboRetriever}, a novel framework for real-world object retrieval that operates using only a \textbf{single} wrist-mounted RGB-D camera and free-form natural language instructions. RoboRetriever grounds visual observations to build and update a \textbf{dynamic hierarchical scene graph} that encodes object semantics, geometry, and inter-object relations over time. The supervisor module reasons over this memory and task instruction to infer the target object and coordinate an integrated action module combining \textbf{active perception}, \textbf{interactive perception}, and \textbf{manipulation}. To enable task-aware scene-grounded active perception, we introduce a novel visual prompting scheme that leverages large reasoning vision-language models to determine 6-DoF camera poses aligned with the semantic task goal and geometry scene context. We evaluate RoboRetriever on diverse real-world object retrieval tasks, including scenarios with human intervention, demonstrating strong adaptability and robustness in cluttered scenes with only one RGB-D camera.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI