強化学習/システムアーキテクチャ2026/5/1arXiv:2605.30313

UniLab: GPU中心パラダイムを超えたロボット強化学習のためのヘテロジニアスアーキテクチャ

UniLab: A Heterogeneous Architecture for Robot RL Beyond GPU-Dominant Paradigms

CPUシミュレーションとGPU学習を分離したヘテロジニアスな強化学習システムUniLabを提案し、GPUシミュレーションに依存せずに3〜10倍の学習効率向上を実証した。

詳しい要約

1. どんなもの？

- シミュレーション主体のロボット制御向けRLにおいて、GPU常駐型シミュレーションが主流であるという前提を見直す研究。 - CPU並列シミュレーションとGPU方策学習を分離したheterogeneous architecture「UniLab」を提案。 - データ移動・バッファリング・同期を担うunified runtimeを備える。 - MuJoCoUniとMotrixSimのCPU-batched physics backendsを実装し、PPO、FastSAC、FlashSAC、APPOをサポート。 - 同一ハードウェア構成でend-to-end training efficiencyを3--10倍改善。 - NVIDIA CUDA依存を低減し、Apple macOS、AMD ROCm、Intel XPUでも動作。

2. 先行研究と比べてどこがすごい？

- 従来はphysics、rollout collection、learningを単一GPU実行パスに置くGPU-resident simulationが主流で、効率的訓練にはphysicsのGPU常駐が必要という暗黙の前提があった。 - 本研究はその前提を再検討し、どのプロセッサがphysicsを実行するかではなく、simulation throughput、policy learning、runtime synchronizationが効率的なend-to-end loopを成すかが本質だと主張。 - CPU-simulation / GPU-learningのheterogeneous構成により、同一ハードウェアで3--10倍の効率改善を報告。 - CUDAベースソフトウェアスタックへの依存を減らし、macOSやAMD ROCm、Intel XPUなどcross-platform実行を可能にした点が先行研究と異なる。

3. 技術・手法の肝は？

- CPU-parallel simulationとGPU policy updatesを分離するheterogeneous architectureを採用。 - unified runtimeがdata movement、buffering、synchronizationを統合的に管理し、end-to-end loopの効率を高める。 - CPU-batched physics backendsとしてMuJoCoUniとMotrixSimを実装。 - 学習アルゴリズムはPPO、FastSAC、FlashSAC、APPOをサポート。 - 完全かつ拡張可能なtraining systemとして構築されている。

4. どうやって有効だと検証した？

- 代表的なsimulation-based robot controlタスクで評価。 - 同一ハードウェア構成において、end-to-end training efficiencyが3--10倍改善することを示した。 - NVIDIA CUDAベースソフトウェアスタックへの依存低減を確認。 - Apple macOSプラットフォーム、AMD ROCm、Intel XPU accelerator backendsでのcross-platform実行を実証。

5. 議論はある？

- GPU simulationは効率的訓練への有効な経路ではあるが、必須ではないと結論。 - ロボットRL訓練における実用的なシステム選択肢を広げる可能性を議論。 - 具体的な制約や失敗事例、詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、GPU-resident simulationを採用するIsaac Gym、Isaac Lab、MuJoCo MJX、Braxなどが同分野の定番として挙げられる。 - 本論文が実装するPPO、FastSAC、FlashSAC、APPOの原論文も次に読む候補。 - MuJoCoUniおよびMotrixSimの詳細を知るには各backendsの文献を参照。 - Project page: https://unilabsim.github.io も参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yufei Jia, Zhanxiang Cao, Mingrui Yu, Heng Zhang, Shenyu Chen, Dixuan Jiang, Meng Li, Xiaofan Li, Yiyang Liu, Junzhe Wu, Zheng Li, XiLin Fang, Ting-Yu Tsui, Shengcheng Fu, Haoyang Li, Anqi Wang, Zifan Wang, Dongjie Zhu, Chenyu Cao, Zhenbiao Huang, Ziang Zheng, Jie Lu, Xin Ma, Zhengyang Wei, Xiang Zhao, Tianyue Zhan, Ye He, Yuxiang Chen, Yizhou Jiang, Yue Li, Haizhou Ge, Yuhang Dong, Fan Jia, Ziheng Zhang, Meng Zhang, Xiwa Deng, Zhixing Chen, Hanyang Shao, Chenxin Dong, Yixuan Li, Yizhi Chen, Bokui Chen, Kaifeng Zhang, Hanqing Cui, Yusen Qin, Ruqi Huang, Lei Han, Tiancai Wang, Xiang Li, Yue Gao, Guyue Zhou

分類: cs.RO

原文アブストラクト

Simulation-based RL for contemporary robot control is increasingly organized around GPU-resident simulation: physics, rollout collection, and learning are placed on a single GPU-centric execution path. This paradigm has greatly improved training speed, but it has also encouraged a default assumption that efficient training requires physics to reside on the GPU. We revisit this assumption. Our view is that, in simulation-dominated robot control, the essential question is not which processor runs physics, but whether simulation throughput, policy learning, and runtime synchronization form an efficient end-to-end loop. We present UniLab, a heterogeneous CPU-simulation / GPU-learning architecture that decouples CPU-parallel simulation from GPU policy updates through a unified runtime for data movement, buffering, and synchronization. UniLab is implemented as a complete and extensible training system using MuJoCoUni and MotrixSim CPU-batched physics backends, supporting PPO, FastSAC, FlashSAC, and APPO. On representative simulation-based robot control tasks, UniLab improves end-to-end training efficiency by 3--10$\times$ under the same hardware configuration, while reducing dependence on the NVIDIA CUDA-based software stack and supporting cross-platform execution on the Apple macOS platform and the AMD ROCm and Intel XPU accelerator backends. These results show that GPU simulation is an effective path to efficient training, but not a necessary one, broadening the practical system choices available for robot RL training. Project page: https://unilabsim.github.io.

arXivで原文を読む →arXiv概要ページ

← 論文一覧