日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2506.05115

階層最適化による脚式移動の全身制約学習

Whole-Body Constrained Learning for Legged Locomotion via Hierarchical Optimization

シェア:XThreadsFacebookLINEはてブBluesky

強化学習にハード・ソフト制約を組み込んだ階層最適化ベースの全身追従制御を提案し、六脚ロボットの屋外環境での安全性と走破性を実証した。

詳しい要約

1. どんなもの?

- 脚式ロコモーションのための強化学習(RL)ポリシーに、階層最適化に基づくwhole-body followerを組み合わせた制約付き学習フレームワーク - RLポリシーとmodel-based controlを統合し、hard/soft制約を訓練・実運用の両段階で扱える - 目的は関節衝突・過大トルク・低摩擦環境での足滑りなど安全上の問題を抑えつつ、複雑な不整地での移動を実現すること - 惑星探査・原子力施設点検・深海作業など厳しい安全要件のミッションへの適用を動機とする - hexapod robotに実装し、雪面斜面や階段を含む屋外環境で検証

2. 先行研究と比べてどこがすごい?

- 従来の制約なしRLはsim-to-real gapと説明性の欠如により、実環境でjoint collisions・excessive torque・foot slippageなどの安全問題を抱える - 提案手法はmodel-based controlの利点を活かし、訓練時・展開時に多種多様なhard/soft制約を定義できる点が特徴 - 制約導入によりポリシーのfine-tuningが可能となり、sim-to-real transferの課題を緩和 - 一方で複雑な非構造環境でのロコモーションにおけるRLのrobustnessを保持 - 具体的な先行研究名や定量的比較は要旨からは不明

3. 技術・手法の肝は?

- 階層最適化に基づくwhole-body followerを設計し、RLフレームワークに統合 - hard制約とsoft制約の両方を扱い、訓練中またはdeployment中に各種制約を定義可能 - model-based controlの枠組みを用いることで、制約を明示的に扱いつつRLポリシーをfine-tuning - RLのrobustnessとmodel-based制約の安全性保証を組み合わせる構成 - 具体的な最適化定式化や階層構造の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 制約を導入して訓練したポリシーをhexapod robotに実装 - 雪に覆われた斜面や階段を含む各種屋外環境でテスト - 高いtraversabilityと安全性を示したと報告 - 定量的指標や比較実験の詳細は要旨からは不明

5. 議論はある?

- 制約付きRLにより安全性を高めつつ複雑環境での移動を実現できる可能性を示唆 - sim-to-real gapや説明性の問題に対する緩和策として制約導入とfine-tuningを位置づけ - 厳しい安全要件のミッションへの適用可能性を議論 - 制約の種類・強さの設計や、実環境での制約充足性の定量的評価、失敗事例などは要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、制約なしRLによるlegged locomotion、model-based control、sim-to-real transfer、安全制約付きRL(Constrained RL)の代表的文献を次に読むべき - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Wang, Ruyi Zhou, Liang Ding, Tie Liu, Zhelin Zhang, Peng Xu, Haibo Gao, Zongquan Deng

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) has demonstrated impressive performance in legged locomotion over various challenging environments. However, due to the sim-to-real gap and lack of explainability, unconstrained RL policies deployed in the real world still suffer from inevitable safety issues, such as joint collisions, excessive torque, or foot slippage in low-friction environments. These problems limit its usage in missions with strict safety requirements, such as planetary exploration, nuclear facility inspection, and deep-sea operations. In this paper, we design a hierarchical optimization-based whole-body follower, which integrates both hard and soft constraints into RL framework to make the robot move with better safety guarantees. Leveraging the advantages of model-based control, our approach allows for the definition of various types of hard and soft constraints during training or deployment, which allows for policy fine-tuning and mitigates the challenges of sim-to-real transfer. Meanwhile, it preserves the robustness of RL when dealing with locomotion in complex unstructured environments. The trained policy with introduced constraints was deployed in a hexapod robot and tested in various outdoor environments, including snow-covered slopes and stairs, demonstrating the great traversability and safety of our approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI