日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2511.04665

ガウススプラッティングによる軟体相互作用のReal-to-Simロボット方策評価

Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions

シェア:XThreadsFacebookLINEはてブBluesky

実世界の動画から軟体のデジタルツインを構築し、3Dガウススプラッティングでフォトリアルに描画するReal-to-Sim評価フレームワークを提案。ぬいぐるみ詰め込みやロープ通しなどの変形操作タスクで、シミュレーション結果が実機性能と強く相関することを示した。

詳しい要約

1. どんなもの?

- 実世界の動画から soft-body の digital twin を構築し、3D Gaussian Splatting で photorealistic に描画する real-to-sim の policy evaluation framework - robot・object・environment を高忠実度にレンダリングし、deformable manipulation タスクの policy を simulation 上で評価 - plush toy packing、rope routing、T-block pushing を代表タスクとして扱う - 実世界評価のコスト・時間・再現性の問題を simulation で代替することを狙う - website: https://real2sim-eval.github.io/

2. 先行研究と比べてどこがすごい?

- 既存 simulator は soft-body interaction の視覚的・物理的複雑さの結合を十分に捉えられないと指摘 - 実世界での deformable object 操作 policy の評価は高コスト・時間消費・再現困難という課題がある - 本研究は physics-informed reconstruction と高品質 rendering を組み合わせる点を特徴とする - 具体的な先行手法名との定量比較は要旨からは不明 - real-world execution performance との強い相関を示す点を主張

3. 技術・手法の肝は?

- 実世界の video から soft-body digital twin を構築する real-to-sim 手法 - 3D Gaussian Splatting を用いて robot・object・environment を photorealistic に rendering - physics-informed reconstruction と高品質 rendering を統合 - 構築した simulation 上で learned policy の rollout を実行し評価 - deformable manipulation に対応する coupled visual/physical complexity の再現を狙う

4. どうやって有効だと検証した?

- plush toy packing、rope routing、T-block pushing の deformable manipulation タスクで検証 - simulated rollouts と real-world execution performance の相関を評価 - 強い相関を示し、learned policy の key behavioral patterns を明らかにしたと報告 - 具体的な相関係数・指標・被験者数などは要旨からは不明 - 再現可能・スケーラブル・正確な評価が可能であることを示唆

5. 議論はある?

- simulation による再現可能・スケーラブル・正確な policy evaluation の可能性を議論 - physics-informed reconstruction と高品質 rendering の組み合わせの有効性を主張 - soft-body interaction の視覚・物理の結合再現が既存 simulator の課題であると議論 - 限界・失敗事例・汎化性・計算コストなどの詳細は要旨からは不明 - 実世界との相関の一般性や他タスクへの拡張性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として 3D Gaussian Splatting の原論文 - real-to-sim / digital twin 構築に関する研究 - deformable object manipulation の simulation 研究 - soft-body physics simulation に関する研究 - robot policy evaluation benchmark に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaifeng Zhang, Shuo Sha, Hanxiao Jiang, Matthew Loper, Hyunjong Song, Guangyan Cai, Zhuo Xu, Xiaochen Hu, Changxi Zheng, Yunzhu Li

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Robotic manipulation policies are advancing rapidly, but their direct evaluation in the real world remains costly, time-consuming, and difficult to reproduce, particularly for tasks involving deformable objects. Simulation provides a scalable and systematic alternative, yet existing simulators often fail to capture the coupled visual and physical complexity of soft-body interactions. We present a real-to-sim policy evaluation framework that constructs soft-body digital twins from real-world videos and renders robots, objects, and environments with photorealistic fidelity using 3D Gaussian Splatting. We validate our approach on representative deformable manipulation tasks, including plush toy packing, rope routing, and T-block pushing, demonstrating that simulated rollouts correlate strongly with real-world execution performance and reveal key behavioral patterns of learned policies. Our results suggest that combining physics-informed reconstruction with high-quality rendering enables reproducible, scalable, and accurate evaluation of robotic manipulation policies. Website: https://real2sim-eval.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI