日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シーングラフarXiv:2506.00083

Hi-Dyna Graph: 人間中心環境におけるロボット自律性のための階層的動的シーングラフ

Hi-Dyna Graph: Hierarchical Dynamic Scene Graph for Robotic Autonomy in Human-Centric Environments

シェア:XThreadsFacebookLINEはてブBluesky

永続的なグローバル配置と局所的な動的意味情報を統合した階層的動的シーングラフを構築し、LLMエージェントによるタスク推論と指示生成で人間中心環境でのロボット自律動作を実現する。

詳しい要約

1. どんなもの?

- 人間中心環境でサービスロボティクスの自律動作を可能にするための階層的動的シーングラフアーキテクチャ「Hi-Dyna Graph」を提案。 - 永続的なグローバルレイアウトと局所的な動的セマンティクスを統合し、身体化されたロボティック自律性を実現する。 - グローバルなトポロジカルグラフ(部屋レベルの接続性や大きな静的物体を符号化)と、環境カメラ・一人称カメラから得られる動的サブグラフ(物体位置関係や人間-物体インタラクションパターン)を構築。 - 意味的・空間的制約を用いてサブグラフをグローバルトポロジーにアンカリングするハイブリッドアーキテクチャ。 - LLMを活用したエージェントが統一グラフを解釈し、潜在的なタスクトリガーを推論し、ロボティックアフォーダンスに基づく実行可能な指示を生成する。

2. 先行研究と比べてどこがすごい?

- 既存のトポロジカルマップは効率的な空間事前分布を提供するが、一時的な物体関係をモデル化できない。 - 密なニューラル表現(例:NeRF)は計算コストが prohibitive(著しく高い)。 - Hi-Dyna Graphは階層的シーン表現とビデオシーングラフ生成の着想を得て、これらの問題を克服し、動的環境の理解と文脈に応じた意思決定を可能にする。 - 具体的な性能比較は要旨からは不明。

3. 技術・手法の肝は?

- ポーズ付きRGB-D入力からグローバルトポロジカルグラフを構築し、部屋スケールの接続性と大きな静的物体(家具など)を符号化。 - 環境カメラと一人称カメラが動的サブグラフを生成し、物体位置関係や人間-物体インタラクションパターンを表現。 - 意味的・空間的制約を用いてサブグラフをグローバルトポロジーにアンカリングし、環境の変化に応じてシームレスに更新するハイブリッドアーキテクチャ。 - LLMを活用したエージェントが統一グラフを解釈し、潜在的なタスクトリガーを推論し、ロボティックアフォーダンスに基づく実行可能な指示を生成する。

4. どうやって有効だと検証した?

- 複雑な実験を実施し、Hi-Dyna Graphの優れたシーン表現有効性を実証。 - 実世界展開により、移動マニピュレータを用いたシステムの実用性を検証。 - 動的シーン(カフェテリアアシスタント)において、ロボティクスが追加のトレーニングや複雑な報酬設計なしに複雑なタスクを自律的に完了することを確認。 - 詳細な実験設定や定量的結果は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 階層的シーン表現に関する研究(例:Hierarchical Scene Representation) - ビデオシーングラフ生成(Video Scene Graph Generation) - トポロジカルマップ(Topological Maps) - NeRF(Neural Radiance Fields) - LLMを活用したロボティクス(LLM-based Robotics)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiawei Hou, Xiangyang Xue, Taiping Zeng

分類: cs.RO, cs.AI

原文アブストラクト

Autonomous operation of service robotics in human-centric scenes remains challenging due to the need for understanding of changing environments and context-aware decision-making. While existing approaches like topological maps offer efficient spatial priors, they fail to model transient object relationships, whereas dense neural representations (e.g., NeRF) incur prohibitive computational costs. Inspired by the hierarchical scene representation and video scene graph generation works, we propose Hi-Dyna Graph, a hierarchical dynamic scene graph architecture that integrates persistent global layouts with localized dynamic semantics for embodied robotic autonomy. Our framework constructs a global topological graph from posed RGB-D inputs, encoding room-scale connectivity and large static objects (e.g., furniture), while environmental and egocentric cameras populate dynamic subgraphs with object position relations and human-object interaction patterns. A hybrid architecture is conducted by anchoring these subgraphs to the global topology using semantic and spatial constraints, enabling seamless updates as the environment evolves. An agent powered by large language models (LLMs) is employed to interpret the unified graph, infer latent task triggers, and generate executable instructions grounded in robotic affordances. We conduct complex experiments to demonstrate Hi-Dyna Grap's superior scene representation effectiveness. Real-world deployments validate the system's practicality with a mobile manipulator: robotics autonomously complete complex tasks with no further training or complex rewarding in a dynamic scene as cafeteria assistant. See https://anonymous.4open.science/r/Hi-Dyna-Graph-B326 for video demonstration and more details.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI