日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作/タスク計画arXiv:2606.24338

RoBoSR: 身体化ロボット推論のための構造化シーン表現

RoBoSR: Structured Scene Representations for Embodied Robotic Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

物体中心のシーングラフを用いて操作タスクを状態遷移として定式化し、高レベルのタスク推論を生の入力から分離することで、長期的で因果的な推論を可能にする構造的表現を提案した。

詳しい要約

1. どんなもの?

- 実世界の変動下でのembodied reasoningは依然として困難。 - 既存手法はdemonstration-driven sequential biasesに依存し、open-endedでlong-horizonなタスクへの柔軟性が限られる。 - 本研究はRoBoSRを提案。これはmanipulationをsemantically grounded, object-centric scene graphs上のstep-wise state transitionsとして定式化するintermediate structural representation。 - 知覚-行動インターフェースでobject statesとspatial relationsをモデル化し、高レベルtask reasoningをraw inputsから分離。 - preconditions, effects, goal statesに対するstructured reasoningを可能にし、causal reasoning能力を付与。subtask dependenciesを強制し、coherent l…

2. 先行研究と比べてどこがすごい?

- 既存手法はdemonstration-driven sequential biasesに依存し、open-endedやlong-horizonタスクでの柔軟性が限られる。 - RoBoSRはstructured intermediate representationにより、高レベルtask reasoningをraw inputsから分離し、preconditions, effects, goal statesに対するstructured reasoningを可能にする。 - これによりcausal reasoning能力を付与し、subtask dependenciesを強制し、coherent long-horizon task planningを支援。 - 複数ベンチマークと実世界デモで、prompting-based methodsやclassical TAMP baselinesをzero-shot generalizationとlong-horizonタスクで一貫して上回る。

3. 技術・手法の肝は?

- manipulationをstep-wise state transitions over semantically grounded, object-centric scene graphsとして定式化するintermediate structural representationを導入。 - 知覚-行動インターフェースでobject statesとspatial relationsをモデル化。 - 高レベルtask reasoningをraw inputsから分離し、preconditions, effects, goal statesに対するstructured reasoningを可能にする。 - causal reasoning能力を付与し、subtask dependenciesを強制。 - 構造認識推論を学習するため、scene understanding, instruction interpretation, subtask planningを共同監督するopen-world dataset Manip-Cognition-1.6Mを構築。

4. どうやって有効だと検証した?

- 複数のベンチマークと実世界デモンストレーションで評価。 - prompting-based methodsやclassical TAMP baselinesと比較。 - zero-shot generalizationとlong-horizonタスクで一貫して上回ることを確認。 - 結果はstructured intermediate representationsがscalable embodied reasoningのためのcritical inductive biasであることを強調。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- prompting-based methods - classical TAMP baselines - Manip-Cognition-1.6M dataset

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kewei Hu, Wanchan Yu, Fangwen Chen, Jing Jiajian, Zimeng Li, Ying Wei, Tianhao Liu, Michael Zhang, Hanwen Kang

分類: cs.RO

原文アブストラクト

Despite rapid progress, embodied reasoning under real-world variability remains challenging. Existing approaches rely on demonstration-driven sequential biases, limiting flexibility in open-ended and long-horizon tasks that require structured reasoning over evolving states. We introduce RoBoSR, an intermediate structural representation that formulates manipulation as step-wise state transitions over semantically grounded, object-centric scene graphs. By modeling object states and their spatial relations at the perception-action interface, RoBoSR disentangles high-level task reasoning from raw inputs and enables structured reasoning over preconditions, effects, and goal states. This representation endows the agent with causal reasoning capability, enforcing subtask dependencies and supporting coherent long-horizon task planning. To learn such structure-aware reasoning, we construct Manip-Cognition-1.6M, an open-world dataset that jointly supervises scene understanding, instruction interpretation, and subtask planning across diverse tasks. Across several benchmarks and real-world demonstrations, our method consistently outperforms prompting-based methods and classical TAMP baselines in zero-shot generalization and long-horizon tasks. The results underscore structured intermediate representations as a critical inductive bias for scalable embodied reasoning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI