日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2509.17647

VideoArtGS: 単眼動画から関節物体のデジタルツインを構築

VideoArtGS: Building Digital Twins of Articulated Objects from Monocular Video

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から関節物体の形状・部位分割・関節パラメータを同時に復元し、高精度なデジタルツインを構築する手法を提案。

詳しい要約

1. どんなもの?

- 単眼動画から articulated object の digital twin を構築する手法 VideoArtGS の提案 - 対象は物体 geometry、part segmentation、articulation parameters の同時推定 - 入力は限られた視点の monocular video のみ - 高忠実度な digital twin 再構成を目指す - コード/プロジェクトページを公開

2. 先行研究と比べてどこがすごい?

- 既存手法と比べ articulation と mesh reconstruction で state-of-the-art - 再構成誤差を既存手法比で約2桁(about two orders of magnitude)削減 - 単眼動画からの実用的な digital twin 作成を可能に - video-based articulated object reconstruction の新ベンチマークを確立 - 詳細な比較対象名は要旨からは不明

3. 技術・手法の肝は?

- pre-trained tracking models の motion prior を活用する枠組み - 3D tracks を解析し noise を除去、articulation parameters を信頼性高く初期化する motion prior guidance pipeline - articulation-based deformation fields 向けの hybrid center-grid part assignment module - カメラと part の同時運動による ill-posed 推定への対処 - geometry と part dynamics の分離を狙う設計

4. どうやって有効だと検証した?

- articulation と mesh reconstruction の性能を評価し state-of-the-art を報告 - 再構成誤差が既存手法より約2桁小さいことを示す - 具体的なデータセット名・評価指標・実験設定は要旨からは不明 - プロジェクトページで公開

5. 議論はある?

- 単眼動画は簡便でスケーラブルな入力だが、visual supervision のみでは geometry と part dynamics の分離が困難 - カメラと part の joint movement が ill-posed estimation を招く - motion priors の有効な統合方法は未解明だった点を課題として提示 - 限界や失敗事例の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- pre-trained tracking models(motion prior 源)の関連研究 - articulated object reconstruction の既存手法(比較対象) - articulation-based deformation fields / part segmentation 関連研究 - monocular video からの 3D reconstruction 一般手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Liu, Baoxiong Jia, Ruijie Lu, Chuyue Gan, Huayu Chen, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Building digital twins of articulated objects from monocular video presents an essential challenge in computer vision, which requires simultaneous reconstruction of object geometry, part segmentation, and articulation parameters from limited viewpoint inputs. Monocular video offers an attractive input format due to its simplicity and scalability; however, it's challenging to disentangle the object geometry and part dynamics with visual supervision alone, as the joint movement of the camera and parts leads to ill-posed estimation. While motion priors from pre-trained tracking models can alleviate the issue, how to effectively integrate them for articulation learning remains largely unexplored. To address this problem, we introduce VideoArtGS, a novel approach that reconstructs high-fidelity digital twins of articulated objects from monocular video. We propose a motion prior guidance pipeline that analyzes 3D tracks, filters noise, and provides reliable initialization of articulation parameters. We also design a hybrid center-grid part assignment module for articulation-based deformation fields that captures accurate part motion. VideoArtGS demonstrates state-of-the-art performance in articulation and mesh reconstruction, reducing the reconstruction error by about two orders of magnitude compared to existing methods. VideoArtGS enables practical digital twin creation from monocular video, establishing a new benchmark for video-based articulated object reconstruction. Our work is made publicly available at: https://videoartgs.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI