日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2504.17857

Spot上での高性能強化学習:分布尺度を用いたシミュレーションパラメータ最適化

High-Performance Reinforcement Learning on Spot: Optimizing Simulation Parameters with Distributional Measures

シェア:XThreadsFacebookLINEはてブBluesky

Spotの低レベルAPI向けに強化学習ポリシーを訓練・実機展開し、Wasserstein距離とMMDでsim2realギャップを定量化してCMA-ESでシミュレーションパラメータを最適化。5.2m/s超の走行や滑り面耐性を実現。

詳しい要約

1. どんなもの?

- Boston Dynamics Spot の低レベルモータ制御 API(Spot RL Researcher Development Kit)を用いた高性能 reinforcement learning (RL) ポリシーの学習・実機展開の技術詳細の報告 - 学習コードは Nvidia IsaacLab、展開コードは Boston Dynamics 経由で公開される初の end-to-end RL ポリシーの公開実証 - 複数歩容(flight phase を含む)を実現し、5.2 m/s 超の移動、滑りやすい面への頑健性、外乱棄却、高い俊敏性を達成

2. 先行研究と比べてどこがすごい?

- Spot 実機への end-to-end RL ポリシー展開として初の公開実証であり、学習・展開コードを公開 - 速度は 5.2 m/s 超で Spot のデフォルトコントローラ最大速度の 3 倍以上 - flight phase を含む複数歩容、滑り面への頑健性、外乱棄却など、従来 Spot で見られなかった俊敏性を実現 - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- 実機と simulation で収集したデータの分布差を Wasserstein Distance と Maximum Mean Discrepancy で定量化し sim2real gap を測定 - これらの分布尺度を Covariance Matrix Adaptation Evolution Strategy (CMA-ES) のスコア関数として用い、Spot から未知または測定困難な simulation パラメータを最適化 - このモデリング・学習手続きにより flight phase を含む複数歩容を可能にする高品質 RL ポリシーを獲得

4. どうやって有効だと検証した?

- 実機と simulation のデータ分布の乖離を Wasserstein Distance と Maximum Mean Discrepancy で測定 - 最適化した simulation パラメータで学習したポリシーを Spot 実機に展開し、5.2 m/s 超の移動、滑り面への頑健性、外乱棄却、flight phase を含む複数歩容を実証 - 定量的な比較実験の詳細は要旨からは不明

5. 議論はある?

- sim2real gap を分布尺度で定量化し simulation パラメータ最適化に用いる枠組みの有効性を示唆 - 低レベル API と公開コードにより Spot での今後の研究を支援 - 限界や失敗事例、分布尺度の感度などの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- Nvidia IsaacLab を用いた関連 RL 学習研究 - Covariance Matrix Adaptation Evolution Strategy (CMA-ES) を用いた sim2real パラメータ最適化研究 - Wasserstein Distance / Maximum Mean Discrepancy を用いた sim2real gap 評価研究 - Boston Dynamics Spot の低レベル API を用いたロコモーション研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: AJ Miller, Fangzhou Yu, Michael Brauckmann, Farbod Farshidian

分類: cs.LG, cs.RO

原文アブストラクト

This work presents an overview of the technical details behind a high performance reinforcement learning policy deployment with the Spot RL Researcher Development Kit for low level motor access on Boston Dynamics Spot. This represents the first public demonstration of an end to end end reinforcement learning policy deployed on Spot hardware with training code publicly available through Nvidia IsaacLab and deployment code available through Boston Dynamics. We utilize Wasserstein Distance and Maximum Mean Discrepancy to quantify the distributional dissimilarity of data collected on hardware and in simulation to measure our sim2real gap. We use these measures as a scoring function for the Covariance Matrix Adaptation Evolution Strategy to optimize simulated parameters that are unknown or difficult to measure from Spot. Our procedure for modeling and training produces high quality reinforcement learning policies capable of multiple gaits, including a flight phase. We deploy policies capable of over 5.2ms locomotion, more than triple Spots default controller maximum speed, robustness to slippery surfaces, disturbance rejection, and overall agility previously unseen on Spot. We detail our method and release our code to support future work on Spot with the low level API.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI