日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2601.18629

ExoGS: スケーラブルなマニピュレーションデータ収集のための4D Real-to-Sim-to-Realフレームワーク

ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection

シェア:XThreadsFacebookLINEはてブBluesky

人間の直接教示をロボット同型の受動外骨格で計測し、環境と物体を3Dガウシアンスプラッティングで再構成してシミュレーション上で大規模データ拡張と方策学習を行うReal-to-Sim-to-Real手法を提案。

詳しい要約

1. どんなもの?

- ロボットを使わない4D Real-to-Sim-to-RealフレームワークExoGSを提案 - 実世界の静的環境と動的interactionの両方を捕捉し、simulationへ転送 - scalableなmanipulation data収集とpolicy learningを可能にする - 自設計のrobot-isomorphic passive exoskeleton AirExo-3を使用 - 人間の直接demonstrationからkinematically consistentなtrajectoryを取得

2. 先行研究と比べてどこがすごい?

- 従来のReal-to-Sim-to-Realは主にenvironment-levelのvisual transferに注目 - interactionのtransferを無視しており、contact-richタスクではsimulationのみでの取得が困難 - ExoGSは静的環境と動的interactionの両方を実世界から捕捉し転送 - teleoperationベースのbaselineと比較しdata efficiencyとpolicy generalizationを大幅改善

3. 技術・手法の肝は?

- AirExo-3でmillimeter-level精度のkinematically consistent trajectoryと同期RGB観測を取得 - robot・object・environmentをeditable 3D Gaussian Splatting assetとして再構成 - geometry-consistentなreplayと大規模data augmentationを実現 - lightweight Mask Adapterでinstance-level semanticsをpolicyに注入 - visual domain shift下でのrobustnessを強化

4. どうやって有効だと検証した?

- 実世界experimentを実施 - teleoperationベースのbaselineと比較 - data efficiencyとpolicy generalizationの大幅改善を確認 - 詳細な評価指標やタスク設定は要旨からは不明

5. 議論はある?

- contact-richタスクにおけるinteraction transferの重要性を指摘 - simulationのみでの取得の困難さと非効率性を議論 - visual domain shiftへのrobustness向上を主張 - 限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- Real-to-Sim-to-Real関連研究 - 3D Gaussian Splattingを用いたrobot manipulation - teleoperationベースのmanipulation data収集 - contact-rich manipulationのsim-to-real transfer - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiming Wang, Ruogu Zhang, Minyang Li, Hao Shi, Junbo Wang, Deyi Li, Jieji Ren, Wenhai Liu, Weiming Wang, Hao-Shu Fang

分類: cs.RO

原文アブストラクト

Real-to-Sim-to-Real technique is gaining increasing interest for robotic manipulation, as it can generate scalable data in simulation while having narrower sim-to-real gap. However, previous methods mainly focused on environment-level visual real-to-sim transfer, ignoring the transfer of interactions, which could be challenging and inefficient to obtain purely in simulation especially for contact-rich tasks. We propose ExoGS, a robot-free 4D Real-to-Sim-to-Real framework that captures both static environments and dynamic interactions in the real world and transfers them seamlessly to a simulated environment. It provides a new solution for scalable manipulation data collection and policy learning. ExoGS employs a self-designed robot-isomorphic passive exoskeleton AirExo-3 to capture kinematically consistent trajectories with millimeter-level accuracy and synchronized RGB observations during direct human demonstrations. The robot, objects, and environment are reconstructed as editable 3D Gaussian Splatting assets, enabling geometry-consistent replay and large-scale data augmentation. Additionally, a lightweight Mask Adapter injects instance-level semantics into the policy to enhance robustness under visual domain shifts. Real-world experiments demonstrate that ExoGS significantly improves data efficiency and policy generalization compared to teleoperation-based baselines. Code and hardware files have been released on https://github.com/zaixiabalala/ExoGS.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI