日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2606.22145

カートポール系の振り上げと安定化のための強化学習制御ポリシーのゼロショット転送

Zero-shot Transfer of Reinforcement Learning Control Policies for the Swing-Up and Stabilization of a Cart-Pole System

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで訓練した強化学習ポリシーを実機のカートポール系にゼロショット転送し、振り上げと安定化を実現した。アクション平滑化フィルタとドメインランダム化、カリキュラム学習を組み合わせて堅牢性を向上させた。

詳しい要約

1. どんなもの?

- シミュレーションで学習したRL制御ポリシーを実機にzero-shot転移する研究 - 対象はcart-poleのswing-upとstabilization - 2つのポリシーを独立に学習し、Simulinkのswitching logicでhandoff - 実機損傷防止のためfirst-order action smoothing filterを適用

2. 先行研究と比べてどこがすごい?

- 要旨からは不明

3. 技術・手法の肝は?

- bandwidth-aware filtering(first-order action smoothing filter) - sensitivity-guided domain randomization (DR) - 単純なlinear curriculum learning (CL) schedule - Simulinkによるswitching logicでswing-upからstabilizationへhandoff

4. どうやって有効だと検証した?

- 全実験でswing-upポリシーがstabilizerのregion of attractionへhandoffするのに十分なエネルギーを注入 - stabilizationポリシーはテスト範囲内の外乱を棄却 - swing-upポリシーはより大きな摂動後に再作動し、振り子を倒立位置に復帰

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は無い。同分野の定番として、sim-to-real transfer、domain randomization、curriculum learning、RL for cart-pole controlに関する一般的な文献が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikki Xu, Hien Tran

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Reinforcement learning (RL) is a powerful and convenient tool to modernize controller design. In this work, we study the zero-shot transfer of RL-based control policies from simulation to hardware for cart-pole swing-up and stabilization. The two policies are trained independently, and the handoff is implemented in Simulink via switching logic. We apply a first-order action smoothing filter to prevent hardware damage from high-frequency oscillatory actuation. Pairing this bandwidth-aware filtering with sensitivity-guided domain randomization (DR) and a simple linear curriculum learning (CL) schedule, we obtain a swing-up policy that in all of our experiments injects sufficient energy for handoff into the stabilizer's region of attraction. The stabilization policy rejects disturbances within the tested range, and the swing-up policy can re-engage after larger perturbations and restores the pendulum to the inverted position.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI