GS-Playground: 視覚に基づくロボット学習のための高スループット写実的シミュレータ
GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning
3Dガウススプラッティングと並列物理エンジンを統合した高速写実シミュレータを開発し、視覚ベースの強化学習を大規模に加速する。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yufei Jia, Heng Zhang, Ziheng Zhang, Junzhe Wu, Mingrui Yu, Zifan Wang, Dixuan Jiang, Zheng Li, Chenyu Cao, Zhuoyuan Yu, Xun Yang, Haizhou Ge, Yuchi Zhang, Jiayuan Zhang, Zhenbiao Huang, Tianle Liu, Shenyu Chen, Jiacheng Wang, Bin Xie, Xuran Yao, Xiwa Deng, Guangyu Wang, Jinzhi Zhang, Lei Hao, Zhixing Chen, Yuxiang Chen, Anqi Wang, Hongyun Tian, Yiyi Yan, Zhanxiang Cao, Yizhou Jiang, Hanyang Shao, Yue Li, Lu Shi, Bokui Chen, Wei Sui, Hanqing Cui, Yusen Qin, Ruqi Huang, Lei Han, Tiancai Wang, Guyue Zhou
分類: cs.RO
原文アブストラクト
Embodied AI research is undergoing a shift toward vision-centric perceptual paradigms. While massively parallel simulators have catalyzed breakthroughs in proprioception-based locomotion, their potential remains largely untapped for vision-informed tasks due to the prohibitive computational overhead of large-scale photorealistic rendering. Furthermore, the creation of simulation-ready 3D assets heavily relies on labor-intensive manual modeling, while the significant sim-to-real physical gap hinders the transfer of contact-rich manipulation policies. To address these bottlenecks, we propose GS-Playground, a multi-modal simulation framework designed to accelerate end-to-end perceptual learning. We develop a novel high-performance parallel physics engine, specifically designed to integrate with a batch 3D Gaussian Splatting (3DGS) rendering pipeline to ensure high-fidelity synchronization. Our system achieves a breakthrough throughput of 10^4 FPS at 640x480 resolution, significantly lowering the barrier for large-scale visual RL. Additionally, we introduce an automated Real2Sim workflow that reconstructs photorealistic, physically consistent, and memory-efficient environments, streamlining the generation of complex simulation-ready scenes. Extensive experiments on locomotion, navigation, and manipulation demonstrate that GS-Playground effectively bridges the perceptual and physical gaps across diverse embodied tasks. Project homepage: https://gsplayground.github.io.
関連論文
- 詳細メッシュ対応の接触リッチ相互作用向け軽量シミュレータLodosシミュレーション
- Ostrich: 微分可能ダイナミクスにおける剛直な接触を跨ぐ大きな歩幅シミュレーション
- Agri-Sim: 温室ロボティクスにおける具現化知能評価のための農業シミュレーションプラットフォームシミュレーション
- 浅海域の写実性を超えて：深海ロボティクスのための物理・センサ接地シミュレーションシミュレーション
- NVIDIA Cosmos-H-Dreams: 手術ロボットのためのリアルタイム生成物理シミュレーションシミュレーション
- CRESSim-Neo: 手術ロボティクスとロボット学習のためのバッチ処理GPUシミュレーションエンジンシミュレーション
