日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.19980

線形クープマンダイナミクスを用いた非線形ロボットシステムの効率的強化学習

Efficient Reinforcement Learning using Linear Koopman Dynamics for Nonlinear Robotic Systems

シェア:XThreadsFacebookLINEはてブBluesky

クープマン作用素理論で非線形システムの線形リフトダイナミクスを学習し、アクタークリティック型強化学習に統合することで、サンプル効率の高い閉ループ制御を実現した。

詳しい要約

1. どんなもの?

非線形ロボティクスシステムの最適閉ループ制御のためのmodel-based RLフレームワーク。Koopman operator theoryにより線形リフトダイナミクスを学習し、actor-criticアーキテクチャに統合してパラメータ化された閉ループコントローラをポリシーとして最適化する。

2. 先行研究と比べてどこがすごい?

- model-free RLベースラインよりsample efficiencyが向上 - model-based RLベースラインより制御性能が優れる - 正確なシステムダイナミクスに依存する古典的model-based手法に匹敵する制御性能 - 詳細な比較条件は要旨からは不明

3. 技術・手法の肝は?

- Koopman operator theoryで線形リフトダイナミクスを学習 - actor-criticアーキテクチャに統合 - ポリシーはパラメータ化された閉ループコントローラ - 計算コストとmodel rollout誤差を低減するため、多段伝播ではなく学習ダイナミクスの1ステップ予測でpolicy gradientを推定 - ストリームされたinteraction dataからオンラインmini-batch policy gradientでポリシー改善

4. どうやって有効だと検証した?

- 複数のシミュレーション非線形制御ベンチマーク - 実機ハードウェア2台: Kinova Gen3 robotic armとUnitree Go1 quadruped - 結果: model-free RLよりsample efficiency改善、model-based RLより制御性能優位、正確なダイナミクスを用いる古典的model-based手法に匹敵

5. 議論はある?

要旨からは不明。1ステップ予測によるpolicy gradient推定の理論的性質や限界、実機での安全性・汎化性に関する議論は記述されていない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法としてKoopman operator theory、model-based RL、model-free RL、actor-critic、classical model-based controlが挙げられる。同分野の定番としてKoopman-based controlやdeep RL for roboticsの文献を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenjian Hao, Yuxuan Fang, Zehui Lu, Shaoshuai Mou

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

This paper presents a model-based reinforcement learning (RL) framework for optimal closed-loop control of nonlinear robotic systems. The proposed approach learns linear lifted dynamics through Koopman operator theory and integrates the resulting model into an actor-critic architecture for policy optimization, where the policy represents a parameterized closed-loop controller. To reduce computational cost and mitigate model rollout errors, policy gradients are estimated using one-step predictions of the learned dynamics rather than multi-step propagation. This leads to an online mini-batch policy gradient framework that enables policy improvement from streamed interaction data. The proposed framework is evaluated on several simulated nonlinear control benchmarks and two real-world hardware platforms, including a Kinova Gen3 robotic arm and a Unitree Go1 quadruped. Experimental results demonstrate improved sample efficiency over model-free RL baselines, superior control performance relative to model-based RL baselines, and control performance comparable to classical model-based methods that rely on exact system dynamics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI