日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.16249

3D占有表現と学習ベース予測制御による弾塑性物体の操作

Manipulating Elasto-Plastic Objects With 3D Occupancy and Learning-Based Predictive Control

シェア:XThreadsFacebookLINEはてブBluesky

3D占有表現と学習したダイナミクスモデル、予測制御を組み合わせ、弾塑性物体を目標形状に成形するフレームワークを提案し、シミュレーションと実機で検証した。

詳しい要約

1. どんなもの?

- 弾塑性物体の操作における課題(自己遮蔽、表現の困難さ、複雑なダイナミクス)に対処する新しいフレームワークを提案。 - 準静的仮定の下で、3D occupancy を用いて物体を表現し、学習ベースのダイナミクスモデルと予測制御アルゴリズムを組み合わせる。 - シミュレーションと実世界の両方で、物体を目標形状に成形できることを検証。

2. 先行研究と比べてどこがすごい?

- 従来の弾塑性物体操作と比較して、3D occupancy 表現を導入することで自己遮蔽や表現の困難さを克服。 - 学習ベースのダイナミクスモデルと予測制御を統合し、複雑な変形を扱える点が新しい。 - 形状ベースの行動初期化モジュールを組み込み、プランナの効率を向上させた点が先行研究と異なる。

3. 技術・手法の肝は?

- 3D occupancy を表現として採用し、複数の RGB 画像から occupancy 予測ネットワークを学習。 - 3D CNN と GNN を組み合わせた深層ニューラルネットワークで変形を予測。 - 学習ベースの予測制御アルゴリズムを導入し、形状ベースの行動初期化モジュールでプランナの効率を改善。 - 準静的仮定の下で動作を計画。

4. どうやって有効だと検証した?

- シミュレーションと実世界の両方で実験を実施。 - 提案フレームワークが弾塑性物体を目標形状に成形できることを確認。 - 様々な実験で有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、3D occupancy を用いた操作、学習ベースの予測制御、GNN を用いた変形予測に関する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhen Zhang, Xiangyu Chu, Yunxi Tang, Lulu Zhao, Jing Huang, Zhongliang Jiang, K. W. Samuel Au

分類: cs.RO, cs.AI

原文アブストラクト

Manipulating elasto-plastic objects remains a significant challenge due to severe self-occlusion, difficulties of representation, and complicated dynamics. This work proposes a novel framework for elasto-plastic object manipulation with a quasi-static assumption for motions, leveraging 3D occupancy to represent such objects, a learned dynamics model trained with 3D occupancy, and a learning-based predictive control algorithm to address these challenges effectively. We build a novel data collection platform to collect full spatial information and propose a pipeline for generating a 3D occupancy dataset. To infer the 3D occupancy during manipulation, an occupancy prediction network is trained with multiple RGB images supervised by the generated dataset. We design a deep neural network empowered by a 3D convolution neural network (CNN) and a graph neural network (GNN) to predict the complex deformation with the inferred 3D occupancy results. A learning-based predictive control algorithm is introduced to plan the robot actions, incorporating a novel shape-based action initialization module specifically designed to improve the planner efficiency. The proposed framework in this paper can successfully shape the elasto-plastic objects into a given goal shape and has been verified in various experiments both in simulation and the real world.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI