日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2601.20668

GPO: 脚式ロボットの移動と全身制御のための成長型方策最適化

GPO: Growing Policy Optimization for Legged Robot Locomotion and Whole-Body Control

シェア:XThreadsFacebookLINEはてブBluesky

初期段階で行動空間を制限し徐々に拡大する時変行動変換を導入することで、トルクベース制御の脚式ロボットの強化学習を安定化・高性能化する手法GPOを提案し、四足・六足ロボットで実機ゼロショット展開まで検証した。

詳しい要約

1. どんなもの?

- 脚式ロボットのlocomotionとwhole-body controlのための強化学習ポリシーを訓練するフレームワーク。 - 特にtorque-based controlに焦点を当て、高次元連続行動空間の探索と学習を改善する。 - Growing Policy Optimization (GPO)と名付けられ、時間変化する行動変換を適用する。

2. 先行研究と比べてどこがすごい?

- 既存手法はposition-based controlで環境固有のheuristics(reward shaping, curriculum design, manual initialization)に依存し、torque-based controlでは効果が限定的。 - GPOは環境非依存で一般的な最適化フレームワークを提供し、torque-based controlでも有効。 - 従来のPPO更新則を保持しつつ、勾配歪みを有界で消失させることを証明。

3. 技術・手法の肝は?

- 訓練初期に時間変化する行動変換を適用して有効行動空間を制限し、効果的なデータ収集とポリシー学習を促進。 - その後、行動空間を漸進的に拡大して探索を強化し、期待収益を向上。 - 変換がPPO更新則を保存し、有界で消失する勾配歪みのみを導入することを理論的に証明。

4. どうやって有効だと検証した?

- quadrupedとhexapodロボットで評価。 - simulation-trained policiesのhardwareへのzero-shot deploymentを含む。 - GPOで訓練したポリシーが一貫して優れた性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- PPO (Proximal Policy Optimization) - 脚式ロボットのlocomotionとwhole-body controlに関する強化学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuhao Liao, Peizhuo Li, Xinrong Yang, Linnan Chang, Zhaoxin Fan, Qing Wang, Lei Shi, Yuhong Cao, Wenjun Wu, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

Training reinforcement learning (RL) policies for legged robots remains challenging due to high-dimensional continuous actions, hardware constraints, and limited exploration. Existing methods for locomotion and whole-body control work well for position-based control with environment-specific heuristics (e.g., reward shaping, curriculum design, and manual initialization), but are less effective for torque-based control, where sufficiently exploring the action space and obtaining informative gradient signals for training is significantly more difficult. We introduce Growing Policy Optimization (GPO), a training framework that applies a time-varying action transformation to restrict the effective action space in the early stage, thereby encouraging more effective data collection and policy learning, and then progressively expands it to enhance exploration and achieve higher expected return. We prove that this transformation preserves the PPO update rule and introduces only bounded, vanishing gradient distortion, thereby ensuring stable training. We evaluate GPO on both quadruped and hexapod robots, including zero-shot deployment of simulation-trained policies on hardware. Policies trained with GPO consistently achieve better performance. These results suggest that GPO provides a general, environment-agnostic optimization framework for learning legged locomotion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI