日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2510.12717

残差MPC:強化学習とGPU並列モデル予測制御の融合

Residual MPC: Blending Reinforcement Learning with GPU-Parallelized Model Predictive Control

シェア:XThreadsFacebookLINEはてブBluesky

MPCと強化学習をトルク制御レベルで統合した残差アーキテクチャを提案し、GPU並列化によりサンプル効率とロバスト性を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、MPC (Model Predictive Control) と RL (Reinforcement Learning) をトルク制御レベルで融合する GPU-parallelized residual architecture を提案する研究。 - kinodynamic whole-body MPC を数千エージェント並列で 100 Hz 評価し、RL 学習に用いる。 - residual policy が MPC 出力に targeted corrections を加え、model-based control の解釈性・制約処理と RL の適応性を両立させる。 - 脚式ロコモーションの制御を対象とする。

2. 先行研究と比べてどこがすごい?

- 単独の MPC や end-to-end RL と比較して、sample efficiency が高い。 - 漸近的な reward がより高く収束する。 - trackable velocity commands の範囲が拡大する。 - 未見の gait や uneven terrain への zero-shot adaptation が可能。 - MPC は model mismatch や real-time 計算制約、RL は解釈性欠如・out-of-distribution 失敗・reward engineering の負担という課題を抱えるが、本手法はそれらを相補的に緩和する。

3. 技術・手法の肝は?

- GPU-parallelized な residual architecture により、MPC と RL の出力をトルク制御レベルでブレンドする。 - kinodynamic whole-body MPC を数千エージェント並列・100 Hz で評価し、RL 訓練の基盤とする。 - residual policy は MPC 出力に対する targeted corrections を学習する。 - model-based control prior を強い bias として用い、単純な reward 集合で policy を望ましい挙動へ初期化・誘導する。

4. どうやって有効だと検証した?

- 数千エージェント並列の 100 Hz MPC 評価環境で RL 訓練を実施。 - 単独 MPC および end-to-end RL との比較で、sample efficiency・漸近 reward・trackable velocity commands 範囲を評価。 - 未見 gait と uneven terrain への zero-shot adaptation を検証。 - 具体的な実験設定・指標の詳細は要旨からは不明。

5. 議論はある?

- MPC の robustness は頻繁な replanning に依存し、model mismatch と real-time 計算制約に限界がある点を議論。 - RL は out-of-distribution 失敗や reward engineering の負担がある点を議論。 - residual blending により解釈性・制約処理と適応性を両立できると主張。 - 限界や失敗事例の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として standalone MPC と end-to-end RL が挙げられている。 - 関連手法として residual RL、model-based RL、whole-body MPC、kinodynamic MPC が挙げられる。 - 具体的な参照論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Se Hwan Jeon, Ho Jae Lee, Seungwoo Hong, Sangbae Kim

分類: cs.RO

原文アブストラクト

Model Predictive Control (MPC) provides interpretable, tunable locomotion controllers grounded in physical models, but its robustness depends on frequent replanning and is limited by model mismatch and real-time computational constraints. Reinforcement Learning (RL), by contrast, can produce highly robust behaviors through stochastic training but often lacks interpretability, suffers from out-of-distribution failures, and requires intensive reward engineering. This work presents a GPU-parallelized residual architecture that tightly integrates MPC and RL by blending their outputs at the torque-control level. We develop a kinodynamic whole-body MPC formulation evaluated across thousands of agents in parallel at 100 Hz for RL training. The residual policy learns to make targeted corrections to the MPC outputs, combining the interpretability and constraint handling of model-based control with the adaptability of RL. The model-based control prior acts as a strong bias, initializing and guiding the policy towards desirable behavior with a simple set of rewards. Compared to standalone MPC or end-to-end RL, our approach achieves higher sample efficiency, converges to greater asymptotic rewards, expands the range of trackable velocity commands, and enables zero-shot adaptation to unseen gaits and uneven terrain.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI