日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.13253

強化学習のCriticによるスコアリングで巧みな把持とハンド内操作を統合する手法

Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic

シェア:XThreadsFacebookLINEはてブBluesky

ハンド内操作のために訓練された強化学習エージェントのCriticネットワークを活用し、操作に適した初期把持をスコアリングして選択することで、追加学習なしに操作成功率を大幅に向上させ、実機での自律的な把持・再配向パイプラインを実現した。

詳しい要約

1. どんなもの?

- 本研究は、ロボティクスにおけるin-hand manipulationとgraspingを統合する手法を提案する。 - 強化学習で訓練されたin-hand manipulationエージェントのcritic networkを利用して、初期把持をスコアリングし選択する。 - これにより、適切な初期把持状態を自動で見つけ、実世界での自律的な把持と再配向を可能にするパイプラインを実装した。

2. 先行研究と比べてどこがすごい?

- 従来、in-hand manipulationとgraspingは別々に扱われることが多く、強化学習によるin-hand manipulationポリシーは実世界で使うには人間が適切な初期把持状態を設定する必要があった。 - 本研究は、追加訓練なしでcritic networkを把持スコアリングに転用し、初期把持選択を自動化することで、この問題を解決する点が新しい。 - 実世界システムでの完全なパイプラインを実装し、扱いにくい物体の自律把持と再配向を可能にした点が先行研究と異なる。

3. 技術・手法の肝は?

- 強化学習エージェント(in-hand manipulation用)のcritic networkを利用し、各初期把持の価値をスコアリングする。 - スコアに基づいて初期把持を選択し、その把持からin-hand manipulationを実行する。 - 実世界システムでは、把持と操作を連携させるパイプラインを構築し、自律的に把持から再配向までを行う。

4. どうやって有効だと検証した?

- 実験により、critic networkによる把持スコアリングを用いることで、in-hand manipulationの成功率が大幅に向上することを示した。 - 追加の訓練を必要とせずに成功率が向上することを確認した。 - 実世界システムで完全な把持・操作パイプラインを実装し、扱いにくい物体の自律把持と再配向を実現した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、強化学習によるin-hand manipulation(例:OpenAIのDexterous Hand Manipulation)や、graspingのための強化学習(例:QT-Opt)などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lennart Röstel, Dominik Winkelbauer, Johannes Pitz, Leon Sievers, Berthold Bäuml

分類: cs.RO, cs.AI

原文アブストラクト

In-hand manipulation and grasping are fundamental yet often separately addressed tasks in robotics. For deriving in-hand manipulation policies, reinforcement learning has recently shown great success. However, the derived controllers are not yet useful in real-world scenarios because they often require a human operator to place the objects in suitable initial (grasping) states. Finding stable grasps that also promote the desired in-hand manipulation goal is an open problem. In this work, we propose a method for bridging this gap by leveraging the critic network of a reinforcement learning agent trained for in-hand manipulation to score and select initial grasps. Our experiments show that this method significantly increases the success rate of in-hand manipulation without requiring additional training. We also present an implementation of a full grasp manipulation pipeline on a real-world system, enabling autonomous grasping and reorientation even of unwieldy objects.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI