日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/視覚arXiv:2605.26478

確率的分離ポリシー勾配による効率的なオンポリシー視覚強化学習

Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient

シェア:XThreadsFacebookLINEはてブBluesky

軌道ロールアウトのランダム摂動でポリシー勾配を推定し、単一GPUで数時間の学習を実現する軽量な視覚強化学習手法SDPGを提案。視覚MuJoCoベンチマークで既存手法より高速・低メモリ・高報酬を達成し、実機へのsim-to-real転送も実証した。

詳しい要約

1. どんなもの?

- 視覚強化学習(visual RL)の手法である stochastic decoupled policy gradient (SDPG) を提案。 - 単一の NVIDIA RTX 4080 GPU 上で、多様な visuomotor control ポリシーを数時間以内に end-to-end で訓練可能。 - 軽量で、計算・メモリオーバーヘッドを大幅に削減。 - 視覚 MuJoCo ベンチマークで評価し、訓練時間・メモリ使用量・報酬でベースラインを上回る。 - 新たに dexterous manipulation や challenging locomotion を含む現実的な視覚ロボティクスベンチマークを提供し、実機への sim-to-real 転移も実証。

2. 先行研究と比べてどこがすごい?

- 従来の視覚 RL 手法と比較して、訓練時間・メモリ使用量・報酬のすべてで一貫して優位。 - バッチレンダリング環境の必要数を桁違いに削減し、計算とメモリのオーバーヘッドを大幅に低減。 - 単一 GPU で数時間以内に訓練できる点が、既存手法よりも効率的。 - 具体的な比較対象は要旨からは不明だが、ベースライン手法を上回ることが示されている。

3. 技術・手法の肝は?

- ポリシー勾配を trajectory rollouts のランダム摂動によって推定する stochastic decoupled policy gradient (SDPG) を採用。 - これにより、バッチレンダリング環境の必要数を大幅に削減。 - 軽量な設計で、計算とメモリのオーバーヘッドを抑える。 - end-to-end で visuomotor control ポリシーを訓練。

4. どうやって有効だと検証した?

- 視覚 MuJoCo ベンチマークでベースライン手法と比較し、訓練時間・メモリ使用量・報酬の指標で有効性を検証。 - 新たに dexterous manipulation や challenging locomotion を含む現実的な視覚ロボティクスベンチマークを導入。 - 物理ハードウェア上で sim-to-real 転移の有効性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、visual reinforcement learning、policy gradient、sim-to-real transfer の定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoxiang You, Yilang Liu, Davis Zong, Qian Wang, Teeratham Vitchutripop, Qi Wang, Daniel Rakita, Ian Abraham

分類: cs.RO, cs.AI, cs.CV, cs.LG, cs.SY, eess.SY

原文アブストラクト

We present the stochastic decoupled policy gradient (SDPG), a lightweight visual reinforcement learning (RL) method that trains diverse visuomotor control policies end-to-end within a few hours on a single NVIDIA RTX 4080 GPU. SDPG estimates policy gradients via random perturbations of trajectory rollouts, requiring orders of magnitude fewer batch-rendered environments and substantially reducing compute and memory overhead. On visual MuJoCo benchmarks, SDPG consistently outperforms baseline methods in training time, memory usage, and rewards. Finally, to support future research, we introduce a suite of realistic visual robotics benchmarks spanning dexterous manipulation, challenging locomotion, and demonstrate effective sim-to-real transfer on physical hardware.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI