日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.10235

文脈付き報酬機械を用いた強化学習によるタスク指向把持

Task-Oriented Grasping Using Reinforcement Learning with a Contextual Reward Machine

シェア:XThreadsFacebookLINEはてブBluesky

把持タスクを段階に分解し、各段階に報酬関数・行動空間・状態抽象化を与える文脈付き報酬機械を強化学習に組み込み、シミュレーションと実機で高成功率を達成した。

詳しい要約

1. どんなもの?

- 本論文は、task-oriented grasping のための強化学習フレームワークを提案する。 - Contextual Reward Machine を導入し、grasping task を複数の sub-task に分解する。 - 各 sub-task に stage-specific context(reward function、action space、state abstraction function)を紐付ける。 - Proximal Policy Optimization と統合し、シミュレーションと実機の両方で評価する。

2. 先行研究と比べてどこがすごい?

- 提案手法は state-action space を削減し、明確な境界内で探索を誘導することで学習効率を高める。 - transition rewards により stage 間遷移を誘導・抑制し、収束を加速する。 - 1,000 の simulated grasping tasks で 95% の success rate を達成し、learning speed と success rate の両面で state-of-the-art 手法を上回ったと報告。 - 実機でも 6 affordances・60 grasping tasks で 83.3% の success rate を示す。

3. 技術・手法の肝は?

- Contextual Reward Machine により grasping task を管理可能な sub-task に分解する。 - 各 sub-task は stage-specific context(reward function、action space、state abstraction function)を持つ。 - この context が intra-stage guidance を与え、state-action space の削減と探索の誘導を実現する。 - transition rewards を導入し、望ましい stage sequence へ誘導する。 - Proximal Policy Optimization と統合して学習する。

4. どうやって有効だと検証した?

- 1,000 の simulated grasping tasks(diverse objects、affordances、grasp topologies を含む)で評価し、95% の success rate を達成。 - learning speed と success rate で state-of-the-art 手法と比較し、優位性を示した。 - 実機ロボットへ転移し、6 affordances・60 grasping tasks で 83.3% の success rate を確認。 - これらの結果から accuracy、data efficiency、learning efficiency の優位性を示す。

5. 議論はある?

- 提案手法はシミュレーションと実世界の両方で task-oriented grasping を進展させる可能性を示す。 - 実機ではシミュレーション(95%)より低い 83.3% の success rate であり、sim-to-real の差が示唆される。 - 具体的な失敗要因や限界、議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている state-of-the-art 手法の具体名は要旨からは不明。 - 関連手法として Proximal Policy Optimization が挙げられる。 - 同分野の定番として task-oriented grasping、reward machine、sim-to-real transfer に関する研究を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hui Li, Akhlak Uz Zaman, Fujian Yan, Hongsheng He

分類: cs.RO

原文アブストラクト

This paper presents a reinforcement learning framework that incorporates a Contextual Reward Machine for task-oriented grasping. The Contextual Reward Machine reduces task complexity by decomposing grasping tasks into manageable sub-tasks. Each sub-task is associated with a stage-specific context, including a reward function, an action space, and a state abstraction function. This contextual information enables efficient intra-stage guidance and improves learning efficiency by reducing the state-action space and guiding exploration within clearly defined boundaries. In addition, transition rewards are introduced to encourage or penalize transitions between stages which guides the model toward desirable stage sequences and further accelerates convergence. When integrated with the Proximal Policy Optimization algorithm, the proposed method achieved a 95% success rate across 1,000 simulated grasping tasks encompassing diverse objects, affordances, and grasp topologies. It outperformed the state-of-the-art methods in both learning speed and success rate. The approach was transferred to a real robot, where it achieved a success rate of 83.3% in 60 grasping tasks over six affordances. These experimental results demonstrate superior accuracy, data efficiency, and learning efficiency. They underscore the model's potential to advance task-oriented grasping in both simulated and real-world settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI