日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2506.22756

RoboPearls: ロボットマニピュレーションのための編集可能なビデオシミュレーション

RoboPearls: Editable Video Simulation for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウススプラッティングを用いて実演ビデオからフォトリアルなシミュレーションを構築し、LLMで自動化された編集操作を可能にするロボットマニピュレーション向けフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの編集可能なビデオシミュレーションフレームワーク「RoboPearls」 - 実演ビデオからフォトリアルで視点整合性のあるシミュレーションを構築 - 3D Gaussian Splatting (3DGS) を基盤とする - 多様なシミュレーション操作をサポート - 物体操作など各種オペレータを備える - LLM と VLM を組み込み、生成の自動化と学習改善のループを狙う

2. 先行研究と比べてどこがすごい?

- 実世界デモ収集の高コスト・非効率というスケーラビリティ問題に対処 - 既存シミュレーションプラットフォームの sim-to-real gap 課題に対処する狙い - 実演ビデオから直接シミュレーションを構築する点が特徴 - 3DGS によりフォトリアルかつ視点整合性を確保 - LLM によるコマンド解釈・実行で生成を自動化 - VLM でロボット学習上の問題を分析しシミュレーションループを閉じる - 具体的な先行研究との定量比較は要旨からは不明

3. 技術・手法の肝は?

- 基盤: 3D Gaussian Splatting (3DGS) によるビデオからのシーン再構築 - 主要モジュール: - Incremental Semantic Distillation (ISD) - 3D regularized NNFM Loss (3D-NNFM) - 編集機能: 各種物体操作を含む多様なシミュレーションオペレータ - 自動化: LLM が柔軟にコマンドを解釈・実行し生成プロセスを自動化 - 改善ループ: VLM がロボット学習上の問題を分析し性能向上に活用

4. どうやって有効だと検証した?

- 複数データセット・シーンで広範な実験を実施 - RLBench - COLOSSEUM - Ego4D - Open X-Embodiment - 実世界ロボット - シミュレーション性能が満足いくものであることを示した - 個別の定量指標や比較手法の詳細は要旨からは不明

5. 議論はある?

- sim-to-real gap への対処を動機としており、その実効性が議論の焦点 - ビデオ由来の再構築・編集の品質や汎化性が論点になり得る - 具体的な限界や失敗事例の記述は要旨からは不明 - LLM/VLM による自動化・改善ループの信頼性も議論対象と考えられる - 定量的な議論内容は要旨からは不明

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3DGS) 関連研究 - sim-to-real 転移に関する研究 - RLBench を用いたロボットマニピュレーション学習研究 - Open X-Embodiment を基盤とする generalist policy 研究 - LLM/VLM を用いたロボット学習自動化に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tao Tang, Likui Zhang, Youpeng Wen, Kaidong Zhang, Jia-Wang Bian, xia zhou, Tianyi Yan, Kun Zhan, Peng Jia, Hefeng Wu, Liang Lin, Xiaodan Liang

分類: cs.CV, cs.RO

原文アブストラクト

The development of generalist robot manipulation policies has seen significant progress, driven by large-scale demonstration data across diverse environments. However, the high cost and inefficiency of collecting real-world demonstrations hinder the scalability of data acquisition. While existing simulation platforms enable controlled environments for robotic learning, the challenge of bridging the sim-to-real gap remains. To address these challenges, we propose RoboPearls, an editable video simulation framework for robotic manipulation. Built on 3D Gaussian Splatting (3DGS), RoboPearls enables the construction of photo-realistic, view-consistent simulations from demonstration videos, and supports a wide range of simulation operators, including various object manipulations, powered by advanced modules like Incremental Semantic Distillation (ISD) and 3D regularized NNFM Loss (3D-NNFM). Moreover, by incorporating large language models (LLMs), RoboPearls automates the simulation production process in a user-friendly manner through flexible command interpretation and execution. Furthermore, RoboPearls employs a vision-language model (VLM) to analyze robotic learning issues to close the simulation loop for performance enhancement. To demonstrate the effectiveness of RoboPearls, we conduct extensive experiments on multiple datasets and scenes, including RLBench, COLOSSEUM, Ego4D, Open X-Embodiment, and a real-world robot, which demonstrate our satisfactory simulation performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI