日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.04419

シーングラフ上の探索と逐次マニピュレーションを統合したLLMベース状況再計画

Integrated Exploration and Sequential Manipulation on Scene Graph with LLM-based Situated Replanning

シェア:XThreadsFacebookLINEはてブBluesky

未知環境でロボットが探索と逐次操作計画を統合するため、シーングラフ上でグラフ編集操作により行動列を生成し、LLMで状況に応じて再計画するフレームワークEPoGを提案。家庭環境タスクで91.3%の成功率を達成。

詳しい要約

1. どんなもの?

- 部分的に既知の環境で、ロボットが探索とタスク計画を統合する枠組み EPoG を提案。 - EPoG は Exploration-based sequential manipulation Planning framework on Scene Graphs。 - graph-based global planner と LLM-based situated local planner を統合。 - belief graph を観測と LLM 予測で継続更新し、既知・未知物体を表現。 - goal graph と belief graph 間の graph edit operations を計算し、時間依存性と移動コストで順序付け。 - 探索と逐次操作計画をシームレスに統合。

2. 先行研究と比べてどこがすごい?

- 従来の探索とタスク計画の分離に対し、EPoG は両者を統合。 - 部分的に既知の環境で、探索による情報収集とタスク計画を同時に扱う点が新しい。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- graph-based global planner と LLM-based situated local planner を統合。 - belief graph を観測と LLM 予測で更新し、既知・未知物体を表現。 - goal graph と belief graph 間の graph edit operations を計算。 - 操作を時間依存性と移動コストで順序付け。 - これにより探索と逐次操作計画を統合。

4. どうやって有効だと検証した?

- 46 の現実的な household scenes と 5 つの long-horizon daily object transportation tasks で ablation studies を実施。 - 成功率 91.3% を達成。 - 平均移動距離を 36.1% 削減。 - 物理的な mobile manipulator が未知で動的な環境で複雑なタスクを実行。

5. 議論はある?

- 物理的な mobile manipulator が未知で動的な環境で複雑なタスクを実行し、実世界応用の可能性を示す。 - 限界や課題についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として graph-based global planner、LLM-based situated local planner、belief graph、graph edit operations が挙げられる。 - 同分野の定番として scene graph を用いたタスク計画や LLM を用いたロボット計画の研究が考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Heqing Yang, Ziyuan Jiao, Shu Wang, Yida Niu, Si Liu, Hangxin Liu

分類: cs.RO

原文アブストラクト

In partially known environments, robots must combine exploration to gather information with task planning for efficient execution. To address this challenge, we propose EPoG, an Exploration-based sequential manipulation Planning framework on Scene Graphs. EPoG integrates a graph-based global planner with a Large Language Model (LLM)-based situated local planner, continuously updating a belief graph using observations and LLM predictions to represent known and unknown objects. Action sequences are generated by computing graph edit operations between the goal and belief graphs, ordered by temporal dependencies and movement costs. This approach seamlessly combines exploration and sequential manipulation planning. In ablation studies across 46 realistic household scenes and 5 long-horizon daily object transportation tasks, EPoG achieved a success rate of 91.3%, reducing travel distance by 36.1% on average. Furthermore, a physical mobile manipulator successfully executed complex tasks in unknown and dynamic environments, demonstrating EPoG's potential for real-world applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI