日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
モデルベース強化学習arXiv:2610.05359

未モデル状態依存性下での学習クリティックによる最適制御

Optimal Control with Learned Critics under Unmodeled State Dependencies

シェア:XThreadsFacebookLINEはてブBluesky

解析モデルに残差動力学ネットワークを加え、学習した行動価値クリティックをiLQRに統合することで、接触などモデル化困難な状態依存性に対応する学習ベースMPCを提案。GPU加速バッチiLQRで効率的に学習する。

詳しい要約

1. どんなもの？

- モデル予測制御（MPC）と強化学習（RL）を組み合わせた学習ベースMPCフレームワーク。 - 名目上の解析モデルに残差動力学ネットワークを追加し、不完全な動力学を補償。 - 学習された行動価値クリティックをiLQR最適化に組み込み、長期的なMDP構造を注入。 - GPU加速バッチiLQRソルバを開発し、数千の軌道最適化問題を並列解決。 - ロボティクスシミュレータに統合し、不完全動力学下でのスケーラブルなモデルベースRLを実現。

2. 先行研究と比べてどこがすごい？

- 従来のMPCは解析的動力学モデルに依存し、接触などモデル化困難な状態依存性に対応できない。 - モデルフリーRLは明示的モデル仮定を避けるが、大量の相互作用データを必要とする。 - 提案手法はデータ効率と構造を両立し、局所モデルベース計画と学習コンポーネントを組み合わせる。 - 残差動力学ネットワークと学習クリティックにより、不完全動力学と有限ホライズン近視眼を補償。 - GPU加速バッチiLQRによりRLスケールでの実用性を実現。

3. 技術・手法の肝は？

- 名目上の解析モデルに残差動力学ネットワークを追加し、データから欠落した状態依存効果を学習。 - 学習された行動価値クリティックをiLQR最適化に組み込み、長期的なMDP構造を注入。 - GPU加速バッチiLQRソルバを開発し、最適制御ループ内で学習動力学とクリティックネットワークを評価。 - 数千の軌道最適化問題を並列に解くことで、RLスケールでの学習を可能に。 - ロボティクスシミュレータに統合し、不完全動力学下でのモデルベースRLを実現。

4. どうやって有効だと検証した？

- バイアスのかかった不完全にモデル化された制御タスクでの実験を実施。 - 閉ループ制御性能の向上を確認。 - 効率的な制約付き軌道最適化に必要なモデルベース構造を保持していることを示す。 - 具体的な評価指標やベースラインとの比較は要旨からは不明。

5. 議論はある？

- 提案手法は閉ループ制御性能を改善し、モデルベース構造を保持することを示す。 - しかし、限界や課題、今後の方向性についての議論は要旨からは不明。 - 実験はシミュレータ上でのみ行われており、実機検証については言及なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Model Predictive Control (MPC)、iLQR、model-free reinforcement learning、residual dynamics network、action-value critic が挙げられる。 - 同分野の定番として、Learning-based MPC、Deep RL for control、Guided policy search などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Philipp Schoch, Markus Ryll

分類: cs.RO, cs.AI

原文アブストラクト

Model Predictive Control (MPC) provides a structured and constraint-aware mechanism for decision-making, but its reliance on optimization-friendly analytical dynamics models limits its use in tasks with contacts and other hard-to-model state dependencies. Model-free reinforcement learning avoids explicit modeling assumptions but typically requires large amounts of interaction data. We present a learning-based MPC framework that combines the data efficiency and structure of local model-based planning with learned components that compensate for incomplete dynamics and finite-horizon myopia. The method augments a nominal analytical model with a residual dynamics network that learns missing state-dependent effects from data and combines the resulting planner with a learned action-value critic that injects long-horizon MDP structure into the local iLQR optimization. To make this practical at reinforcement-learning scale, we develop a GPU-accelerated batched iLQR solver that evaluates learned dynamics and critic networks inside the optimal-control loop and solves thousands of trajectory-optimization problems in parallel. The complete system is integrated into a robotics simulator, enabling scalable model-based reinforcement learning under incomplete dynamics. Experiments on biased and incompletely modeled control tasks show that the approach improves closed-loop control performance while preserving the model-based structure needed for efficient constrained trajectory optimization.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →