日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2601.16109

モデルベース監督による強化学習で効率的に頑健なトルクベース二足歩行を学習

Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision

シェア:XThreadsFacebookLINEはてブBluesky

モデルベースの二足歩行制御に残差強化学習を組み合わせ、訓練時に真のダイナミクスを使えるオラクル方策で残差方策を監督することで、報酬設計を複雑にせず実世界の不確かさに頑健な歩行を効率的に学習する手法を提案。

詳しい要約

1. どんなもの?

- モデルベースの二足歩行制御と残差強化学習(RL)を統合した制御フレームワークを提案。 - モデルベース制御器(DCM軌道プランナと全身制御器)をベースポリシーとし、残差ポリシーをRLで学習。 - 実世界の不確実性下でロバストかつ適応的な歩行を実現することを目指す。

2. 先行研究と比べてどこがすごい?

- 従来のモデルベース制御とRLの組み合わせに対し、モデルベースのオラクルポリシーによる監督を導入。 - 報酬整形を広範に行うことなく、効率的に補正行動を学習可能。 - ランダム化条件に対するロバスト性と汎化性能が向上。

3. 技術・手法の肝は?

- DCM軌道プランナと全身制御器からなるモデルベース制御器をベースポリシーとして利用。 - 残差ポリシーをRLで学習し、ドメインランダム化を適用。 - 訓練時に真のダイナミクスにアクセスできるモデルベースのオラクルポリシーが、新たな監督損失を介して残差ポリシーを監督。

4. どうやって有効だと検証した?

- ランダム化された条件の範囲で、ロバスト性と汎化性能の改善を実証。 - 具体的な評価指標や実験設定は要旨からは不明。

5. 議論はある?

- モデルベース制御とRLの統合により、sim-to-real転送のスケーラブルな解決策を提供。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、モデルベース二足歩行制御、残差強化学習、ドメインランダム化、sim-to-real転送に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

分類: cs.RO

原文アブストラクト

We propose a control framework that integrates model-based bipedal locomotion with residual reinforcement learning (RL) to achieve robust and adaptive walking in the presence of real-world uncertainties. Our approach leverages a model-based controller, comprising a Divergent Component of Motion (DCM) trajectory planner and a whole-body controller, as a reliable base policy. To address the uncertainties of inaccurate dynamics modeling and sensor noise, we introduce a residual policy trained through RL with domain randomization. Crucially, we employ a model-based oracle policy, which has privileged access to ground-truth dynamics during training, to supervise the residual policy via a novel supervised loss. This supervision enables the policy to efficiently learn corrective behaviors that compensate for unmodeled effects without extensive reward shaping. Our method demonstrates improved robustness and generalization across a range of randomized conditions, offering a scalable solution for sim-to-real transfer in bipedal locomotion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI