日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

タスクプランニングarXiv:2508.11286

シーングラフ誘導による失敗に強い身体性エージェントのための能動的再計画

Scene Graph-Guided Proactive Replanning for Failure-Resilient Embodied Agent

シェア:XThreadsFacebookLINEはてブBluesky

現在のRGB-D観測から構築したシーングラフと成功実演の参照グラフを比較し、サブタスク境界で失敗を事前検知して計画を修正する能動的再計画フレームワークを提案。AI2-THORで成功率とロバスト性が向上。

詳しい要約

1. どんなもの?

- 実世界の日常タスクを遂行する embodied agent 向けの、失敗に強い proactive replanning フレームワーク。 - 現在の RGB-D 観測から構築した scene graph と、成功 demonstration から抽出した reference graph を比較する。 - 不一致を subtask 境界で検出し、軽量 reasoning module で原因を診断して plan を修正する。 - AI2-THOR simulator で評価。

2. 先行研究と比べてどこがすごい?

- 既存の replanning の多くは失敗が起きた後に反応する受動的方式で、回復が非効率・不可能になり得る。 - proactive replanning の既存解は手設計の rule や大量の supervision に依存していた。 - 本研究は scene graph 比較により、実行失敗が起きる前に semantic/spatial mismatch を検出する点が異なる。 - 手設計 rule や extensive supervision への依存を避ける設計を狙う。

3. 技術・手法の肝は?

- 現在の RGB-D 観測から scene graph を構築する。 - 成功 demonstration から reference graph を抽出し、reference trajectory として保持する。 - subtask 境界で current scene と reference graph を比較し、alignment の崩れを検出する。 - 不一致時のみ lightweight reasoning module を起動し、mismatch を診断して plan を調整する。 - これにより outdated assumptions のまま行動が実行されるのを防ぐ。

4. どうやって有効だと検証した?

- AI2-THOR simulator 上で実験。 - 実行失敗の発生前に semantic mismatch と spatial mismatch を検出できることを示す。 - 提案手法が task success と robustness を大きく改善することを報告。 - 具体的な baseline や指標の詳細は要旨からは不明。

5. 議論はある?

- 失敗後の回復ではなく事前防止に寄与する点、subtask 境界での検出という設計が議論の中心。 - 手設計 rule や extensive supervision への依存を減らす方向性を示す。 - 限界として、simulator 評価のみである点、実機での検証や reference graph 依存性は要旨からは不明。 - 誤検出や reasoning module のコストに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究は明示されていない。 - 関連手法として、failure recovery を扱う replanning 研究、proactive replanning、scene graph を用いた embodied planning、AI2-THOR 上の embodied agent 研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Che Rin Yu, Daewon Chae, Dabin Seo, Sangwon Lee, Hyeongwoo Im, Jinkyu Kim

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

When humans perform everyday tasks, we naturally adjust our actions based on the current state of the environment. For instance, if we intend to put something into a drawer but notice it is closed, we open it first. However, many autonomous robots lack this adaptive awareness. They often follow pre-planned actions that may overlook subtle yet critical changes in the scene, which can result in actions being executed under outdated assumptions and eventual failure. While replanning is critical for robust autonomy, most existing methods respond only after failures occur, when recovery may be inefficient or infeasible. While proactive replanning holds promise for preventing failures in advance, current solutions often rely on manually designed rules and extensive supervision. In this work, we present a proactive replanning framework that detects and corrects failures at subtask boundaries by comparing scene graphs constructed from current RGB-D observations against reference graphs extracted from successful demonstrations. When the current scene fails to align with reference trajectories, a lightweight reasoning module is activated to diagnose the mismatch and adjust the plan. Experiments in the AI2-THOR simulator demonstrate that our approach detects semantic and spatial mismatches before execution failures occur, significantly improving task success and robustness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI