マニピュレーション2026/1/1arXiv:2601.09920

SyncTwin: 安全なロボットマニピュレーションのための高速デジタルツイン構築と同期

SyncTwin: Fast Digital Twin Construction and Synchronization for Safe Robotic Manipulation

RGB画像から物体の3Dアセットを再構成し、点群セグメンテーションとカラーICPで実世界とデジタルツインを同期させることで、動的・遮蔽環境下でも安全なマニピュレーションを実現するフレームワーク。

詳しい要約

1. どんなもの？

- 動的・視覚遮蔽環境での安全なロボットマニピュレーションを目的としたデジタルツインフレームワークSyncTwinを提案。 - オフラインでVGGTによりRGB画像から物体レベル3Dアセットを高速再構成し、再利用可能なジオメトリライブラリを構築。 - 実行中は点群セグメンテーション更新とcolored-ICP registrationで実世界の物体状態を追跡し、デジタルツインを継続同期。 - 同期されたツイン上で衝突回避・動的実行可能な軌道を計画し、real-to-sim-to-realループで実機に安全に実行。

2. 先行研究と比べてどこがすごい？

- 従来のデジタルツイン構築は時間がかかり、動的環境や遮蔽への対応が不十分だった。 - SyncTwinはVGGTによる高速3D再構成とリアルタイム同期を統合し、動的・遮蔽シーンでのマニピュレーション性能と運動安全性を向上。 - オフラインで構築したジオメトリライブラリを再利用可能とし、実行時の同期を効率化。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は？

- オフライン段階：VGGTを用いてRGB画像から物体レベル3Dアセットを高速再構成し、ジオメトリライブラリを形成。 - 実行段階：点群セグメンテーション更新により実世界の物体状態を追跡し、colored-ICP registrationでデジタルツインを整合。 - 同期されたツイン上で運動プランナが衝突回避・動的実行可能な軌道を計算。 - real-to-sim-to-realの閉ループで実機に安全に実行。

4. どうやって有効だと検証した？

- 動的かつ遮蔽のあるシーンでの実験を実施。 - SyncTwinがマニピュレーション性能と運動安全性を改善することを示した。 - 具体的な評価指標やベースラインとの比較は要旨からは不明。

5. 議論はある？

- 動的・遮蔽環境におけるデジタルツイン同期の有効性を実証。 - 安全性を考慮した実世界ロボット実行への貢献を主張。 - 限界や課題、今後の展望についての議論は要旨からは不明。

6. 次に読むべき論文は？

- VGGT（3D再構成手法） - colored-ICP registration（点群位置合わせ手法） - デジタルツインを用いたロボティックマニピュレーションの関連研究（要旨で具体的な参照はなし）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruopeng Huang, Boyu Yang, Wenlong Gui, Jeremy Morgan, Erdem Biyik, Jiachen Li

分類: cs.RO

原文アブストラクト

Accurate and safe robotic manipulation under dynamic and visually occluded conditions remains a core challenge in real-world deployment. We introduce SyncTwin, a novel digital twin framework that unifies fast 3D scene reconstruction and real-to-sim synchronization for robust and safety-aware robotic manipulation in such environments. In the offline stage, we employ VGGT to rapidly reconstruct object-level 3D assets from RGB images, forming a reusable geometry library. During execution, SyncTwin continuously synchronizes the digital twin by tracking real-world object states via point cloud segmentation updates and aligning them through colored-ICP registration. The synchronized twin enables motion planners to compute collision-free and dynamically feasible trajectories in simulation, which are safely executed on the real robot through a closed real-to-sim-to-real loop. Experiments in dynamic and occluded scenes show that SyncTwin improves manipulation performance and motion safety, demonstrating the effectiveness of digital twin synchronization for real-world robotic execution. The video demos and code can be found on the project website: https://sync-twin.github.io/.

arXivで原文を読む →arXiv概要ページ

SyncTwin: 安全なロボットマニピュレーションのための高速デジタルツイン構築と同期

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell