日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2606.01072

シーングラフによるロボット模倣学習の空間・時間的文脈拡張

Expanding Spatial and Temporal Context for Robotic Imitation Learning With Scene Graphs

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習にシーングラフを動的メモリとして用い、部分観測環境での長期的推論と汎化性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- ロボットの模倣学習(imitation learning)において、家庭やオフィスなどの大規模で部分的にしか観測できない環境、および長期的な推論を要するタスクに対処するため、scene graphを明示的・構造的な記憶機構として用いる手法を提案。 - 動的なscene graphを維持し、物体中心の関係とその時間的変化を捉えることで、エージェントがタスク実行中に関連する履歴コンテキストを保持し、逐次的に蓄積されるシーン情報を効率的に推論できるようにする。 - シミュレーションの移動マニピュレーションと実世界の卓上マニピュレーションで実験を行い、特に長期推論と部分観測下での頑健な汎化が求められる設定で政策性能を大幅に改善することを示した。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習は、部分的に観測された環境や長期的なタスクにおいて、履歴コンテキストの保持と推論が困難であった。 - 提案手法は、scene graphを明示的・構造的な記憶機構として導入することで、物体中心の関係とその時間的進化を捉え、長期推論と部分観測下での汎化を改善する点が優れている。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 動的なscene graphを維持し、物体中心の関係とその時間的変化を表現する。 - このscene graphを記憶機構として用いることで、エージェントはタスク実行中に関連する履歴コンテキストを保持し、逐次的に蓄積されるシーン情報を効率的に推論する。 - 模倣学習の枠組みにscene graphを統合し、政策学習に活用する。

4. どうやって有効だと検証した?

- シミュレーションにおける移動マニピュレーション(mobile manipulation)と、実世界における卓上マニピュレーション(tabletop manipulation)の実験で検証。 - 提案手法が政策性能を大幅に改善し、特に長期推論と部分観測下での頑健な汎化が求められる設定で有効であることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。同分野の関連手法として、imitation learning、scene graph、mobile manipulation、tabletop manipulationに関する定番の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianing Qian, Qinhe Peng, Emmanuel Panov, Leonor Fermoselle, Dinesh Jayaraman, Bernadette Bucher, Tarik Kelestemur

分類: cs.RO, cs.CV

原文アブストラクト

Imitation learning enables robots to learn how to execute tasks via observation. However, real-world environments like homes and offices are often severely partially observed due to their large spatial scales. In addition, many tasks involve executing a series of subtasks requiring autonomous robots to reason over extended time horizons. To address these challenges, we propose using scene graphs as an explicit and structured memory mechanism in imitation learning. By maintaining a dynamic scene graph that captures object-centric relationships and their evolution over time, our method allows the agent to retain relevant historical context during task execution to efficiently reason over incrementally accrued scene information. Our experiments on simulated mobile manipulation and real-world tabletop manipulation demonstrate that our approach substantially improves policy performance, particularly in settings that demand long-term reasoning and robust generalization under partial observability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI