日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2506.04120

物理シーンのスプラッティング:不完全なロボットデータからのエンドツーエンド実世界→シミュレーション

Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウススプラッティングと物理シミュレーション用メッシュを統合し、生のロボット軌道から物体形状・見た目・ロボット姿勢・物理パラメータを微分可能レンダリングと微分可能物理で同時最適化する実世界→シミュレーション手法を提案。

詳しい要約

1. どんなもの?

- 実世界のロボット動作データから、物理シミュレーション可能なデジタルツインを生成する real-to-sim フレームワーク。 - 3D Gaussian Splatting による写実的レンダリングと、物理シミュレーション向けの明示的な object mesh を単一表現で統合した hybrid scene representation が特徴。 - 対象は ALOHA 2 bi-manual manipulator を用いた実世界シーケンスとシミュレーション。 - 目的は安全・スケーラブル・低コストな robot learning への基盤提供。

2. 先行研究と比べてどこがすごい?

- 実ロボットデータ特有の occlusion、noisy camera poses、dynamic scene elements を同時に扱う点を強調。 - 従来の real-to-sim はこれらの課題で幾何精度や写実性が損なわれ、未見物体の digital twin 生成が困難だったとの位置づけ。 - 単一の hybrid 表現と end-to-end 最適化で、object mesh 再構成・novel view 生成・annotation-free な robot pose calibration を同時達成する点が新規。 - 具体的な先行研究名との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- 3D Gaussian Splatting の写実的描画と、物理シミュレーション可能な object mesh を融合した hybrid scene representation。 - differentiable rendering と MuJoCo 内の differentiable physics を組み合わせた end-to-end 最適化パイプライン。 - 生で不正確な robot trajectories から、object geometry・appearance・robot poses・physical parameters を jointly refine。 - これにより高忠実度 mesh 再構成、写実的新規視点生成、アノテーション不要のロボット姿勢校正を一括で実現。

4. どうやって有効だと検証した?

- シミュレーション環境と、ALOHA 2 bi-manual manipulator を用いた挑戦的な実世界シーケンスの両方で有効性を実証。 - 評価対象として、object mesh reconstruction の高忠実度化、photorealistic novel views の生成、annotation-free robot pose calibration を実施。 - 具体的な定量指標・比較手法・データセット規模は要旨からは不明。

5. 議論はある?

- 実ロボットデータの occlusion、noisy camera poses、dynamic elements を同時に扱える実用的 real-to-sim への貢献を主張。 - 制限や失敗事例、計算コスト、汎化性に関する議論は要旨からは不明。 - 実世界 ALOHA 2 での検証は示されるが、他ロボットや大規模シーンへの適用性は要旨からは不明。

6. 次に読むべき論文は?

- 3D Gaussian Splatting(3DGS) - MuJoCo の differentiable physics - differentiable rendering を用いた real-to-sim / digital twin 構築の関連研究 - ALOHA 2 を用いた bi-manual manipulation の学習研究 - 要旨で直接参照・比較されている個別論文は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ben Moran, Mauro Comi, Arunkumar Byravan, Steven Bohez, Tom Erez, Zhibin Li, Leonard Hasenclever

分類: cs.RO, cs.GR

原文アブストラクト

Creating accurate, physical simulations directly from real-world robot motion holds great value for safe, scalable, and affordable robot learning, yet remains exceptionally challenging. Real robot data suffers from occlusions, noisy camera poses, dynamic scene elements, which hinder the creation of geometrically accurate and photorealistic digital twins of unseen objects. We introduce a novel real-to-sim framework tackling all these challenges at once. Our key insight is a hybrid scene representation merging the photorealistic rendering of 3D Gaussian Splatting with explicit object meshes suitable for physics simulation within a single representation. We propose an end-to-end optimization pipeline that leverages differentiable rendering and differentiable physics within MuJoCo to jointly refine all scene components - from object geometry and appearance to robot poses and physical parameters - directly from raw and imprecise robot trajectories. This unified optimization allows us to simultaneously achieve high-fidelity object mesh reconstruction, generate photorealistic novel views, and perform annotation-free robot pose calibration. We demonstrate the effectiveness of our approach both in simulation and on challenging real-world sequences using an ALOHA 2 bi-manual manipulator, enabling more practical and robust real-to-simulation pipelines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI