日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/操作軌道合成arXiv:2606.10645

ManiSplat: 単眼ビデオからの操作軌道合成 - 分離型3Dガウシアンスプラッティングによるアプローチ

ManiSplat: Manipulation Trajectory Synthesis from Monocular Video via Decoupled 3D Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの単眼ビデオから、ロボット・物体・背景を分離した3Dガウシアン表現を構築し、操作タスクの軌道を合成するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 単眼の ego-view ロボット動画から、操作可能な 3D Gaussian Splatting 表現を再構成するフレームワーク ManiSplat を提案。 - ロボット、物体、背景を分離した Graph-Structured Disentangled Representation を導入。 - 操作タスクの Motion/Skill フェーズを利用した Task-Oriented Spatio-Temporal Alignment で擬似正解軌道を構築。 - フォトメトリック・幾何学的な統合最適化により、時間的整合性と物理的整合性を備えた simulation-ready なシーンを生成。

2. 先行研究と比べてどこがすごい?

- 従来の 3D Gaussian Splatting は静的な高忠実度再構成が中心で、関節ロボットや操作可能物体を含む動的・接触環境への拡張が困難だった。 - ManiSplat は単眼 ego-view 動画から、ロボット・物体・背景を分離した制御可能なデジタルツインを再構成できる点が新しい。 - 接触相互作用や急激な姿勢変化に対処するため、タスク構造を利用した時空間アラインメントを導入している点が先行研究と異なる。

3. 技術・手法の肝は?

- Graph-Structured Disentangled Representation により、シーングラフ内でロボット・物体・背景を独立に最適化可能な Gaussian サブフィールドに分離。 - Task-Oriented Spatio-Temporal Alignment モジュールが、操作タスクの Motion と Skill の交互フェーズを利用して正確な擬似正解軌道を構築。 - フォトメトリック損失と幾何学的損失を統合した最適化により、時間的コヒーレンスと物理的整合性を実現。

4. どうやって有効だと検証した?

- 広範な実験により、相互作用を伴う動的シーンを高忠実度かつ制御可能に再構成できることを示した。 - 下流のロボティクスタスクやポリシー学習を効果的に支援できることを確認。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 単眼 ego-view 動画からの動的・接触環境再構成の難しさ(複雑な接触相互作用、急激な姿勢変化)を課題として挙げている。 - 提案手法が時間的整合性・物理的整合性・シミュレーション準備性を達成したと主張。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 3D Gaussian Splatting の原論文(Kerbl et al.) - 動的シーン再構成の関連手法(例:Dynamic Gaussian Splatting, 4D Gaussian Splatting) - ロボティクスにおけるデジタルツイン構築やポリシー学習に関する研究(例:RoboGSim, RoboCasa など) - 要旨で直接参照されている研究はないため、同分野の定番手法を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Hu, Haonan Zhou, Liu Liu, Yun Du, Xinjie Wang, Ziang Li, Zhizhong Su, Gaoang Wang

分類: cs.CV

原文アブストラクト

Reconstructing dynamic and interactive 3D scenes from real-world observations remains a fundamental challenge in computer vision and robotics. While recent advances in 3D Gaussian Splatting have enabled high-fidelity static reconstruction, extending it to interactive environments with articulated robots and manipulable objects remains difficult due to complex contact interactions and abrupt pose changes. To address these challenges, we introduce ManiSplat, a unified framework that reconstructs controllable and decoupled Gaussian digital twins directly from monocular ego-view robotic videos. Our method introduces a Graph-Structured Disentangled Representation that separates the robot, objects, and background into independently optimizable Gaussian subfields organized within a scene graph. To ensure stability, we propose a Task-Oriented Spatio-Temporal Alignment module that leverages the inherent logic of manipulation tasks-alternating between Motion and Skill phases-to construct accurate pseudo-ground-truth trajectories. Finally, a joint photometric-geometric optimization ensures the reconstructed scenes are temporally coherent, physically consistent, and simulation-ready. Extensive experiments demonstrate that our approach reconstructs interaction-driven dynamic scenes with high fidelity and controllability, effectively supporting downstream robotic tasks and policy learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI