デジタルツイン/3D再構築2026/6/1arXiv:2606.24628

ArtiTwinSplat: RGB-Dビデオからのガウシアンスプラッティングによるインタラクティブなデジタルツイン再構築

ArtiTwinSplat: Interactable Digital Twin Reconstruction via Gaussian Splatting from RGB-D videos

RGB-Dビデオから物体の可動部構造と関節運動を自動推定し、写真のようにリアルで操作可能なデジタルツインを構築するフレームワークを提案。CADモデルや手動アノテーションを不要とし、実世界の観測から直接ロボットの計画・学習に使えるモデルを生成する。

詳しい要約

1. どんなもの？

- 本論文は、RGB-D動画から物体のarticulated digital twinを自動構築するArtiTwinSplatを提案する。 - CADモデル、シミュレーション資産、手動アノテーションを必要としない。 - 3D Gaussian Splattingに基づき、幾何学的忠実性とphotometric realismを保持する。 - 観測された動きのみからpart構造とjoint kinematicsを復元するunsupervised articulation discovery pipelineを備える。 - trackingとoptimization段階により、安定したqueryable digital twinを提供し、real-time rendering、viewpoint control、interactive manipulationをサポートする。 - 従来のシミュレーションに限定された手法と異なり、実世界観測に直接動作し、下流のロボットplanningやlearningシステムで即時利用可能なtwinを生成する。

2. 先行研究と比べてどこがすごい？

- 従来手法はシミュレーション環境に限定され、CADモデルや手動アノテーションを必要とすることが多い。 - ArtiTwinSplatは実世界のRGB-D動画のみから動作し、CADモデル、シミュレーション資産、手動アノテーションを不要とする。 - これにより、articulated object manipulationのためのdigital twin構築の統合障壁を下げ、embodied AIやhuman-robot collaborationへの実用的でスケーラブルな経路を提供する。

3. 技術・手法の肝は？

- 3D Gaussian Splattingを基盤とし、幾何学的忠実性とphotometric realismを保持する。 - unsupervised articulation discovery pipelineにより、観測された動きのみからpart構造とjoint kinematicsを復元する。 - trackingとoptimization段階を組み合わせ、安定したqueryable digital twinを実現する。 - real-time rendering、viewpoint control、interactive manipulationをサポートする。

4. どうやって有効だと検証した？

- 要旨からは不明。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、3D Gaussian Splatting、articulated object manipulation、digital twin reconstruction、RGB-D video processingに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranjal Mishra, René Zurbrügg, Max Wilder-Smith, Marco Hutter, Marc Pollefeys, Zuria Bauer, Hermann Blum

分類: cs.RO, cs.CV

原文アブストラクト

Deploying robots in unstructured real-world environments needs accurate, interactive models of the objects. Constructing these models at scale remains a critical bottleneck for robotic system integration. We present ArtiTwinSplat, a framework that automatically constructs articulated, photo-realistic digital twins of objects directly from RGB-D videos, requiring no CAD models, simulation assets, or manual annotations. Our method is built on 3D Gaussian Splatting that preserve geometric fidelity and photometric realism, coupled with an unsupervised articulation discovery pipeline that recovers part structure and joint kinematics from observed motion alone. With tracking and optimization stages our method provides stable, queryable digital twins that support real-time rendering, viewpoint control, and interactive manipulation. Unlike prior methods confined to simulation, ArtiTwinSplat operates directly on real-world observations and produces twins that are immediately usable by downstream robot planning and learning systems. This method offers a practical, scalable pathway toward digital twin construction, lowering the integration barrier for articulated object manipulation in embodied AI and human-robot collaboration contexts.

arXivで原文を読む →arXiv概要ページ

← 論文一覧