スキャン・実体化・シミュレーション：物理に基づくロボット計画のための汎用フレームワーク
Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning
3Dガウススプラッティングによるシーン再構成、視覚基盤モデルによるセグメンテーション、視覚言語モデルによる材質推定、物理シミュレーションを統合し、ビリヤード風操作とクアッドロータ着陸で実世界汎化を実証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Amine Elhafsi, Daniel Morton, Marco Pavone
分類: cs.RO, cs.CV, cs.GR, cs.LG
原文アブストラクト
Autonomous robots must reason about the physical consequences of their actions to operate effectively in unstructured, real-world environments. We present Scan, Materialize, Simulate (SMS), a unified framework that combines 3D Gaussian Splatting for accurate scene reconstruction, visual foundation models for semantic segmentation, vision-language models for material property inference, and physics simulation for reliable prediction of action outcomes. By integrating these components, SMS enables generalizable physical reasoning and object-centric planning without the need to re-learn foundational physical dynamics. We empirically validate SMS in a billiards-inspired manipulation task and a challenging quadrotor landing scenario, demonstrating robust performance on both simulated domain transfer and real-world experiments. Our results highlight the potential of bridging differentiable rendering for scene reconstruction, foundation models for semantic understanding, and physics-based simulation to achieve physically grounded robot planning across diverse settings.
