日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.01082

力覚と視覚フィードバックを用いた最適化ベースのデモンストレーションによるピボット操作の学習

Learning Pivoting Manipulation with Force and Vision Feedback Using Optimization-based Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

接触を考慮した軌道最適化でデモを生成し、それをガイドに強化学習を行うことで、視覚・力覚・固有感覚のみを用いたピボット操作を実機で実現した。

詳しい要約

1. どんなもの?

- 非把持マニピュレーションの一種である pivoting 操作を、closed-loop で学習するフレームワーク。 - Contact-Implicit Trajectory Optimization (CITO) による効率的な軌道生成を demonstrations として活用し、deep Reinforcement Learning (RL) を guide する。 - privileged training strategy を用いた sim-to-real transfer を提案し、proprioception・vision・force sensing のみで pivoting を実現する。

2. 先行研究と比べてどこがすごい?

- model-based 手法は接触制約下の複雑な軌道を効率的に生成できるが、モデル誤差に敏感で object mass・size・pose などの privileged information を要する。 - learning-based 手法はモデル誤差に頑健だが大量データを要する。 - 本研究は両者を橋渡しし、CITO の demonstrations で RL を guide することで sample-efficient な学習を実現する点が異なる。

3. 技術・手法の肝は?

- 計算効率の良い Contact-Implicit Trajectory Optimization (CITO) で demonstrations を生成。 - demonstration-guided deep Reinforcement Learning (RL) により closed-loop pivoting を学習。 - privileged training strategy を用い、訓練時のみ privileged information を利用して sim-to-real transfer を可能にする。 - 実機では proprioception・vision・force sensing のみを使用。

4. どうやって有効だと検証した?

- 複数の pivoting tasks で評価。 - sim-to-real transfer が成功することを示した。 - 手法概要と hardware experiments は https://youtu.be/akjGDgfwLbM?si=QVw6ExoPy2VsU2g6 で公開。 - 定量的な比較指標やベースラインとの詳細は要旨からは不明。

5. 議論はある?

- model-based の privileged information 依存と learning-based のデータ要求量という課題に対し、CITO demonstrations と privileged training で対処する設計。 - 実機で proprioception・vision・force sensing のみに限定できる点を主張。 - 限界や失敗事例、一般物体への汎化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- Contact-Implicit Trajectory Optimization (CITO) の原論文。 - demonstration-guided deep Reinforcement Learning に関する研究。 - privileged training / sim-to-real transfer を用いたロボットマニピュレーション研究。 - 非把持マニピュレーション (non-prehensile manipulation) や pivoting に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuki Shirai, Kei Ota, Devesh K. Jha, Diego Romeres

分類: cs.RO, cs.AI, cs.LG, cs.SY, eess.SY

原文アブストラクト

Non-prehensile manipulation is challenging due to complex contact interactions between objects, the environment, and robots. Model-based approaches can efficiently generate complex trajectories of robots and objects under contact constraints. However, they tend to be sensitive to model inaccuracies and require access to privileged information (e.g., object mass, size, pose), making them less suitable for novel objects. In contrast, learning-based approaches are typically more robust to modeling errors but require large amounts of data. In this paper, we bridge these two approaches to propose a framework for learning closed-loop pivoting manipulation. By leveraging computationally efficient Contact-Implicit Trajectory Optimization (CITO), we design demonstration-guided deep Reinforcement Learning (RL), leading to sample-efficient learning. We also present a sim-to-real transfer approach using a privileged training strategy, enabling the robot to perform pivoting manipulation using only proprioception, vision, and force sensing without access to privileged information. Our method is evaluated on several pivoting tasks, demonstrating that it can successfully perform sim-to-real transfer. The overview of our method and the hardware experiments are shown at https://youtu.be/akjGDgfwLbM?si=QVw6ExoPy2VsU2g6

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI