日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.04168

油圧ショベルによる岩石把持のための強化学習:誘導報酬設計を用いたアプローチ

Learning to Capture Rocks using an Excavator: A Reinforcement Learning Approach with Guiding Reward Formulation

シェア:XThreadsFacebookLINEはてブBluesky

油圧ショベルで不規則な岩石を把持するタスクに対し、モデルフリー強化学習(PPO)と誘導報酬設計、ドメインランダム化を用いて制御器を学習させ、人間に匹敵する成功率を達成した。

詳しい要約

1. どんなもの?

- 標準的なexcavator bucketを用いたrock capturing(岩の把捉)を対象とした研究 - 熟練オペレータの技能を要する、不規則な大型岩を非構造環境で扱うタスク - 岩石・土壌の特性を明示的にモデル化せず、完全にdata-drivenな制御フレームワークを提案 - model-free reinforcement learningにより制御方策を学習 - CAT365 excavator modelのboom, arm, bucketへ直接joint velocity commandsを出力

2. 先行研究と比べてどこがすごい?

- 既存のautonomous excavationは主に連続媒体を対象とするか、specialized grippersに依存 - それらは実世界のconstruction sitesへの適用性が限定的 - 本研究は岩石というdiscrete object manipulationに焦点 - 著者らの知る限り、rock capturingタスクに対するRL-based controllerの開発・評価は初 - 特殊ハードウェアや詳細なmaterial modelsを必要としない点が特徴

3. 技術・手法の肝は?

- AGX Dynamics simulator上でmodel-free reinforcement learning agentを訓練 - アルゴリズムはProximal Policy Optimization (PPO) - guiding reward formulationを導入 - 方策はboom, arm, bucketへのjoint velocity commandsを直接出力 - rock geometry, density, massのdomain randomizationでrobustnessを強化 - bucket, rock, goal positionの初期配置もdomain randomization

4. どうやって有効だと検証した?

- AGX Dynamics simulatorでの実験により評価 - 未見の岩石や変動する土壌条件への汎化を確認 - 人間の参加者に匹敵する高い成功率を達成 - 機械のstabilityを維持 - 具体的な被験者数や試行数は要旨からは不明

5. 議論はある?

- 特殊ハードウェアや詳細なmaterial modelsなしでlearning-based excavation戦略が実現可能と示唆 - 岩石把捉におけるdiscrete object manipulationへの適用可能性を提示 - 限界や失敗事例の詳細は要旨からは不明 - simulatorから実機への転移(sim-to-real)の議論は要旨からは不明

6. 次に読むべき論文は?

- Proximal Policy Optimization (PPO) の原論文 - AGX Dynamicsを用いたexcavation/土壌操作の関連研究 - domain randomizationに関する代表的論文 - autonomous excavationにおける連続媒体対象の先行研究 - specialized grippersを用いたrock manipulationの研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amirmasoud Molaei, Mohammad Heravi, Reza Ghabcheloo

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Rock capturing with standard excavator buckets is a challenging task typically requiring the expertise of skilled operators. Unlike soil digging, it involves manipulating large, irregular rocks in unstructured environments where complex contact interactions with granular material make model-based control impractical. Existing autonomous excavation methods focus mainly on continuous media or rely on specialized grippers, limiting their applicability to real-world construction sites. This paper introduces a fully data-driven control framework for rock capturing that eliminates the need for explicit modeling of rock or soil properties. A model-free reinforcement learning agent is trained in the AGX Dynamics simulator using the Proximal Policy Optimization (PPO) algorithm and a guiding reward formulation. The learned policy outputs joint velocity commands directly to the boom, arm, and bucket of a CAT365 excavator model. Robustness is enhanced through extensive domain randomization of rock geometry, density, and mass, as well as the initial configurations of the bucket, rock, and goal position. To the best of our knowledge, this is the first study to develop and evaluate an RL-based controller for the rock capturing task. Experimental results show that the policy generalizes well to unseen rocks and varying soil conditions, achieving high success rates comparable to those of human participants while maintaining machine stability. These findings demonstrate the feasibility of learning-based excavation strategies for discrete object manipulation without requiring specialized hardware or detailed material models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI