日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.21928

SAGE: シーングラフを活用した長期的マニピュレーションタスクの誘導と実行

SAGE: Scene Graph-Aware Guidance and Execution for Long-Horizon Manipulation Tasks

シェア:XThreadsFacebookLINEはてブBluesky

シーングラフを構造的表現として用い、VLM/LLMによるタスク計画と画像編集によるサブゴール画像生成を組み合わせ、長期的マニピュレーションタスクを実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- 長期的な manipulation タスクを解くためのフレームワーク SAGE を提案 - タスク名は Scene Graph-Aware Guidance and Execution - 高レベルな記号的 planning と低レベルな連続制御の間のギャップを埋めることを狙う - 2つの構成要素からなる - scene graph ベースの task planner(VLM と LLM を利用) - 分離された structural image editing pipeline - 長期的タスクにおける SOTA 性能を主張

2. 先行研究と比べてどこがすごい?

- 従来の task planning 手法(traditional および LLM-based)は汎化が限定的、または意味的推論が乏しいと指摘 - image-conditioned control 手法は未見タスクへの適応が難しいと指摘 - SAGE は semantic scene graph を構造表現として用いる点が特徴 - タスクレベルの意味推論と pixel レベルの visuo-motor 制御を橋渡し - 正確で新規な sub-goal 画像を制御的に合成可能 - これにより上記の課題に対処する

3. 技術・手法の肝は?

- semantic scene graph を scene state の構造表現として利用 - 構成要素1: scene graph-based task planner - VLM と LLM で環境を解析 - 物理的に根拠のある scene state 遷移列を推論 - 構成要素2: decoupled structural image editing pipeline - 各 target sub-goal graph を image inpainting と composition により画像へ制御的に変換 - 構造的 scene graph が意味推論と visuo-motor 制御の橋渡しを担う

4. どうやって有効だと検証した?

- 複数の異なる long-horizon タスクで実験を実施したと記載 - SAGE が state-of-the-art 性能を達成したと報告 - 具体的なタスク名・データセット名・評価指標・比較手法は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、scene graph 構築の誤りへの影響などは本文で議論されている可能性があるが、要旨には記載なし

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究: traditional task planning 手法、LLM-based task planning 手法、image-conditioned control 手法 - 関連手法として semantic scene graph、VLM、LLM、image inpainting を用いた研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jialiang Li, Wenzheng Wu, Gaojing Zhang, Yifan Han, Wenzhao Lian

分類: cs.RO, cs.AI

原文アブストラクト

Successfully solving long-horizon manipulation tasks remains a fundamental challenge. These tasks involve extended action sequences and complex object interactions, presenting a critical gap between high-level symbolic planning and low-level continuous control. To bridge this gap, two essential capabilities are required: robust long-horizon task planning and effective goal-conditioned manipulation. Existing task planning methods, including traditional and LLM-based approaches, often exhibit limited generalization or sparse semantic reasoning. Meanwhile, image-conditioned control methods struggle to adapt to unseen tasks. To tackle these problems, we propose SAGE, a novel framework for Scene Graph-Aware Guidance and Execution in Long-Horizon Manipulation Tasks. SAGE utilizes semantic scene graphs as a structural representation for scene states. A structural scene graph enables bridging task-level semantic reasoning and pixel-level visuo-motor control. This also facilitates the controllable synthesis of accurate, novel sub-goal images. SAGE consists of two key components: (1) a scene graph-based task planner that uses VLMs and LLMs to parse the environment and reason about physically-grounded scene state transition sequences, and (2) a decoupled structural image editing pipeline that controllably converts each target sub-goal graph into a corresponding image through image inpainting and composition. Extensive experiments have demonstrated that SAGE achieves state-of-the-art performance on distinct long-horizon tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI