日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2603.28243

コスト整合モデル予測制御によるヒューマノイド歩行の効率的強化学習

Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

MPCベースの強化学習フレームワークにおいて、MPCのコスト関数を行動価値関数に整合させることで、効率的な勾配学習を実現し、ヒューマノイド歩行性能とロバスト性を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、ヒューマノイドのlocomotionを対象に、Model Predictive Control (MPC)ベースのReinforcement Learning (RL)フレームワーク内でcost-matchingアプローチを提案する。 - パラメータ化されたMPC定式化をcentroidal dynamicsで構築し、高忠実度の閉ループデータから得られるaction-value functionを近似するように学習する。 - シミュレーションで商用ヒューマノイドプラットフォームを用いて検証し、手動チューニングのベースラインと比較して性能とロバスト性が向上した。

2. 先行研究と比べてどこがすごい?

- 従来のMPCベースRLでは、学習中にMPC問題を繰り返し解く計算負荷が課題であった。 - 提案手法は、MPCのcost-to-goを記録されたstate-action trajectoriesに沿って評価し、パラメータを更新することで、MPCを毎回解くことなく効率的な勾配ベース学習を可能にする。 - 手動チューニングのベースラインと比較して、locomotion性能とモデルミスマッチや外乱に対するロバスト性が改善された。

3. 技術・手法の肝は?

- パラメータ化されたMPC定式化をcentroidal dynamicsに基づいて構築する。 - 記録されたstate-action trajectoriesに沿ってMPCのcost-to-goを評価し、MPC予測値と測定されたリターンとの不一致を最小化するようにパラメータを更新する。 - これにより、MPC問題を繰り返し解く計算負荷を回避しつつ、効率的な勾配ベース学習を実現する。

4. どうやって有効だと検証した?

- 商用ヒューマノイドプラットフォームを用いたシミュレーションで検証した。 - 手動チューニングのベースラインと比較して、locomotion性能の向上と、モデルミスマッチおよび外乱に対するロバスト性の改善を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、MPCベースのRL、centroidal dynamicsを用いたlocomotion制御、action-value function近似、手動チューニングベースラインなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenqi Cai, Kyriakos G. Vamvoudakis, Sébastien Gros, Anthony Tzes

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

In this paper, we propose a cost-matching approach for optimal humanoid locomotion within a Model Predictive Control (MPC)-based Reinforcement Learning (RL) framework. A parameterized MPC formulation with centroidal dynamics is trained to approximate the action-value function obtained from high-fidelity closed-loop data. Specifically, the MPC cost-to-go is evaluated along recorded state-action trajectories, and the parameters are updated to minimize the discrepancy between MPC-predicted values and measured returns. This formulation enables efficient gradient-based learning while avoiding the computational burden of repeatedly solving the MPC problem during training. The proposed method is validated in simulation using a commercial humanoid platform. Results demonstrate improved locomotion performance and robustness to model mismatch and external disturbances compared with manually tuned baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI