日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2504.14989

不整地における階層型強化学習による四足ロボットの動的ボール操作

Dynamic Legged Ball Manipulation on Rugged Terrains with Hierarchical Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

四足ロボットが不整地でボールをドリブルするため、高レベル方策が事前学習済みの低レベルスキルを切り替える階層型強化学習フレームワークを提案し、実機実験で有効性を示した。

詳しい要約

1. どんなもの?

- 四足歩行ロボットが不整地で動的にボールを操作(ドリブル)するための階層型強化学習フレームワーク - 高レベル方策が固有受容感覚とボール位置に基づき、事前学習済みの低レベルスキル(ボールドリブル、不整地ナビゲーション)を適応的に切り替える - 動的なロコマニピュレーションを rugged terrain 上で実現することを目的とする

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end 深層強化学習では、地形走破とボール制御という異なる運動モダリティの統合が困難 - また end-to-end 学習では sparse reward により方策収束が非効率という課題があった - 本研究は階層型 RL によりこれらを分離・統合し、ベースライン手法より不整地での動的ボール操作で優れることを示した

3. 技術・手法の肝は?

- 階層型強化学習:高レベル方策が proprioceptive data と ball position を入力に、事前学習済み低レベルスキルを選択 - 低レベルスキルとして ball dribbling と rough terrain navigation を用意 - Dynamic Skill-Focused Policy Optimization を提案し、非活性スキルからの勾配を抑制して重要スキルの学習を強化

4. どうやって有効だと検証した?

- シミュレーションと実世界実験の両方で検証 - 不整地における動的ボール操作でベースライン手法を上回る性能を示した - 詳細な評価指標や実験設定は要旨からは不明

5. 議論はある?

- 不整地での動的ボール操作における有効性を主張 - 課題として sparse reward と運動モダリティ統合を挙げ、階層型 RL と勾配抑制で対処 - 限界や失敗事例、スキル切り替えの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明記されていない - 関連手法として階層型強化学習(hierarchical reinforcement learning)、end-to-end 深層強化学習、sparse reward 下の policy optimization に関する定番研究を次に読むべき - 四足ロボットの loco-manipulation に関する関連論文も候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongjie Zhu, Zhuo Yang, Tianhang Wu, Luzhou Ge, Xuesong Li, Qi Liu, Xiang Li

分類: cs.RO

原文アブストラクト

Advancing the dynamic loco-manipulation capabilities of quadruped robots in complex terrains is crucial for performing diverse tasks. Specifically, dynamic ball manipulation in rugged environments presents two key challenges. The first is coordinating distinct motion modalities to integrate terrain traversal and ball control seamlessly. The second is overcoming sparse rewards in end-to-end deep reinforcement learning, which impedes efficient policy convergence. To address these challenges, we propose a hierarchical reinforcement learning framework. A high-level policy, informed by proprioceptive data and ball position, adaptively switches between pre-trained low-level skills such as ball dribbling and rough terrain navigation. We further propose Dynamic Skill-Focused Policy Optimization to suppress gradients from inactive skills and enhance critical skill learning. Both simulation and real-world experiments validate that our methods outperform baseline approaches in dynamic ball manipulation across rugged terrains, highlighting its effectiveness in challenging environments. Videos are on our website: dribble-hrl.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI