日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シミュレーション環境構築arXiv:2606.17520

GASE: ガウススプラッティングに基づく身体化シミュレーション環境再構築の自動化システム

GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments

シェア:XThreadsFacebookLINEはてブBluesky

パノラマカメラアレイを用いて環境を高速スキャンし、高品質な前景抽出とインペインティングを経て、物理シミュレータにそのまま使える高忠実度シーンを自動構築するシステムを提案した。実ロボット実験で、実データのみで訓練したポリシーとの性能差が10%未満であることを示した。

詳しい要約

1. どんなもの?

- 本論文は、embodied agentの訓練のためのsimulation環境を自動構築するシステム「GASE」を提案する。 - パノラマカメラアレイからの多視点映像ストリームを利用し、環境を迅速にスキャンする。 - 前景オブジェクトと静的背景を独立に再構成し、物理シミュレータにシームレスにインポートしてpolicy trainingを可能にする。 - 再構成ベースの手法であり、高忠実度のシミュレーションシーンを低コストで生成することを目指す。

2. 先行研究と比べてどこがすごい?

- 既存の再構成ベース手法は視覚品質に優れるが、データ取得の非効率性と前景オブジェクト抽出の精度不足が課題であった。 - GASEは、カメラポーズベースの戦略により2D領域でフレーム間のオブジェクトを頑健に抽出し、高忠実度のscene inpaintingを実現する。 - 実験では、既存の3D Gaussianベース手法と比較してsegmentation accuracyで10%以上向上し、inpainting qualityでstate-of-the-artを達成した。 - 実ロボット展開において、実世界データのみで訓練したpolicyと比べて性能ギャップが10%未満に抑えられることを示した。

3. 技術・手法の肝は?

- パノラマカメラアレイからの多視点ビデオストリームを用いて環境をスキャンする。 - カメラポーズベースの戦略で、2Dドメインにおいてフレーム間のオブジェクトを頑健に抽出する。 - 高忠実度のscene inpaintingを適用する。 - 前景オブジェクトと静的背景を独立に再構成し、物理シミュレータにインポートする。

4. どうやって有効だと検証した?

- 広範な実験により、既存の3D Gaussianベース手法と比較してsegmentation accuracyで10%以上向上し、inpainting qualityでstate-of-the-artを達成した。 - 実ロボット展開をmanipulationタスクとnavigationタスクで行い、実世界データのみで訓練したpolicyと比較して性能ギャップが10%未満であることを確認した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、3D Gaussian-based methods、および再構成ベースの手法が挙げられる。 - 関連手法として、3D Gaussian Splatting、scene inpainting、sim-to-real transfer、policy trainingなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiawei Zhang, Yiming Yan, Chao Liang, Nuo Xu, Seson Sun, Qichen Zhang, Yuhao Xu, Yantai Yang, Yingqiao Wang, Qin Jin, Zhipeng Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Training embodied agents in the real world requires skilled operators and expensive hardware. Simulation environments offer a compelling alternative by enabling large-scale, cost-effective data augmentation. Consequently, rapidly constructing high-fidelity simulation scenes with a minimal sim-to-real gap has become a critical objective in robot learning. While reconstruction-based methods provide superior visual quality, current workflows are hindered by inefficient data acquisition and subpar foreground object extraction. We thus propose GASE, a highly automated system for simulation scene construction. GASE leverages multi-view video streams from panoramic camera arrays to enable rapid environment scanning. To ensure high-quality asset generation, our pipeline introduces a camera-pose-based strategy that robustly extracts objects across frames in the 2D domain, followed by high-fidelity scene inpainting. Foreground objects and the static background are then reconstructed independently and seamlessly imported into physics simulators for policy training. Extensive experiments demonstrate that GASE outperforms existing 3D Gaussian-based methods in segmentation accuracy by over 10\% while achieving state-of-the-art inpainting quality. Furthermore, real-robot deployments across manipulation and navigation tasks maintains a performance gap of less than 10\% compared to policies trained purely on real-world data. These results confirm that GASE provides an efficient and highly effective solution for bridging the sim-to-real gap. Code will be released.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI