日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2509.19573

安定性を追い求めて:制御リアプノフ関数に導かれた強化学習によるヒューマノイド走行

Chasing Stability: Humanoid Running via Control Lyapunov Function Guided Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

制御リアプノフ関数と最適化された動的参照軌道を強化学習の報酬設計に組み込み、ヒューマノイドの走行を実現した研究。

詳しい要約

1. どんなもの?

- 人間型ロボットの走行(flight phase と single support phase を含む)を実現する制御手法 CLF-RL を提案する研究。 - 非線形制御理論の control Lyapunov functions (CLFs) と最適化された動的参照軌道を reinforcement learning (RL) の訓練に組み込み、報酬を整形する。 - 得られた policy は treadmill や屋外環境で動作し、torso や feet への外乱に頑健で、on-board sensors のみで正確な global reference tracking を達成する。

2. 先行研究と比べてどこがすごい?

- 従来の classical control は非線形・hybrid dynamics の実時間制御器合成が困難。 - 近年の RL による locomotion control は複雑な dynamics を扱えるが、報酬の手作業設計・調整が必要。 - CLF-RL は heuristic reward terms の手作り・調整を不要にし、certifiable stability を促しつつ意味のある intermediate rewards を与える点が新しい。 - 動的に実現可能な軌道に基づくことで flight と single support を含む走行へ動的能力を拡張。

3. 技術・手法の肝は?

- control Lyapunov functions (CLFs) を RL の訓練プロセスに埋め込み、報酬整形に利用。 - 最適化された動的参照軌道(dynamic reference trajectories)を併用し、policy learning を動的に実現可能な軌道に接地。 - これにより heuristic reward terms の手作り・調整を排除し、certifiable stability を促す intermediate rewards を提供。 - 詳細なネットワーク構成やアルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- 得られた policy を treadmill 上および屋外環境で動作させて検証。 - torso と feet に加えられた外乱に対する robustness を確認。 - on-board sensors のみを用いた accurate global reference tracking を達成することで有効性を示す。 - 定量的な比較実験の詳細は要旨からは不明。

5. 議論はある?

- CLF と動的参照軌道の組み込みにより、報酬設計の手間軽減と stability の担保を両立できる可能性を示唆。 - 屋外や外乱下での動作、on-board sensors のみでの tracking は full autonomy stack への統合に向けた重要な一歩と位置づけ。 - 限界や失敗事例、CLF の設計依存性、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として classical control methods、reinforcement learning (RL) による locomotion control、control Lyapunov functions (CLFs) を挙げる。 - 同分野の定番として humanoid locomotion の RL 研究や hybrid dynamics の制御、dynamic reference trajectory 最適化に関する論文を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zachary Olkin, Kejun Li, William D. Compton, Aaron D. Ames

分類: cs.RO

原文アブストラクト

Achieving highly dynamic behaviors on humanoid robots, such as running, requires controllers that are both robust and precise, and hence difficult to design. Classical control methods offer valuable insight into how such systems can stabilize themselves, but synthesizing real-time controllers for nonlinear and hybrid dynamics remains challenging. Recently, reinforcement learning (RL) has gained popularity for locomotion control due to its ability to handle these complex dynamics. In this work, we embed ideas from nonlinear control theory, specifically control Lyapunov functions (CLFs), along with optimized dynamic reference trajectories into the reinforcement learning training process to shape the reward. This approach, CLF-RL, eliminates the need to handcraft and tune heuristic reward terms, while simultaneously encouraging certifiable stability and providing meaningful intermediate rewards to guide learning. By grounding policy learning in dynamically feasible trajectories, we expand the robot's dynamic capabilities and enable running that includes both flight and single support phases. The resulting policy operates reliably on a treadmill and in outdoor environments, demonstrating robustness to disturbances applied to the torso and feet. Moreover, it achieves accurate global reference tracking utilizing only on-board sensors, making a critical step toward integrating these dynamic motions into a full autonomy stack.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI