日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2607.27749

静止状態の観測からの関節物体再構成

Articulated Object Reconstruction from Rest-State Observation

シェア:XThreadsFacebookLINEはてブBluesky

単一の閉じた状態の観測から、物体の3D形状と関節構造を再構成する手法を提案。視覚言語モデルとビデオ拡散モデルを組み合わせて、動きの情報なしに関節パラメータを推定する。

詳しい要約

1. どんなもの?

本論文は、静止状態の観察(単一の閉じた構成)から関節物体の3D形状と運動学的構造(関節パラメータ)を再構成する手法を提案している。従来の関節物体再構成は複数の関節状態からの明示的な動きの観察を必要とするが、本手法は動きの手がかりがない不良設定問題に取り組み、幾何・意味・運動の事前知識を組み合わせることで解決する。

2. 先行研究と比べてどこがすごい?

先行研究は複数の関節状態からの動きの観察を必要とするが、本手法は単一の閉じた構成(rest-state)のみから再構成を行う点が新しい。また、明示的なメッシュを中間表現として用い、vision-languageモデルとsegmentationモデルのノイズの多い出力を融合して空間的に一貫したパーツ構造を得る点、およびvideo diffusion modelを用いて関節パラメータを推定する点が独自性が高い。

3. 技術・手法の肝は?

手法の肝は、(1) 明示的なメッシュを中間表現として用い、cross-model verificationとfusionにより、vision-languageモデルとsegmentationモデルの出力を統合してパーツ構造を推定すること。(2) 動きの観察なしで関節パラメータを推定するために、video diffusion modelを用いて関節運動の仮説を合成し、幾何的一貫性(geometric consistency)によって検証すること。

4. どうやって有効だと検証した?

有効性の検証は、パーツ分解の精度と物理的に妥当な関節運動の生成を評価することで行われた。比較対象は、動きを観察する再構成ベース、生成ベース、モジュール化された事前学習モデルのベースラインであり、本手法はこれらと競合する性能を示した。具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

要旨からは、単一の閉じた構成からの再構成は不良設定問題であり、幾何・意味・運動の事前知識に依存するため、事前知識が不十分な場合や物体の種類によっては性能が低下する可能性が示唆される。また、video diffusion modelによる仮説合成は計算コストが高い可能性がある。しかし、具体的な議論や限界は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、動きを観察する再構成ベースの手法、生成ベースの手法、モジュール化された事前学習モデル(vision-languageモデル、segmentationモデル、video diffusion model)が挙げられる。次に読むべき論文は、これらのベースライン手法の詳細を述べた論文や、関節物体再構成の分野のサーベイ論文が考えられるが、具体的なタイトルは要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daeun Lee, Jaeah Lee, Woosung Kim, Haebeom Jung, Jaesik Park

分類: cs.CV, cs.RO

原文アブストラクト

Building interactive digital twins requires recovering both 3D geometry and the kinematic structures that govern how objects articulate. Yet existing methods for articulated object reconstruction require explicitly observable motion from multiple articulation states. We introduce a rest-state formulation that reconstructs articulated objects from a single closed configuration, an inherently ill-posed setting where geometry, semantics, and motion priors compensate for the absence of motion cues. Our framework adopts an explicit mesh as an intermediate representation for cross-model verification and fusion, reconciling noisy outputs from vision-language and segmentation models into spatially consistent part structures. To estimate joint parameters without observed motion, we use a video diffusion model to synthesize articulation hypotheses and validate them through geometric consistency. Our approach achieves accurate part decomposition and physically plausible articulation, performing competitively with motion-observing reconstruction-based, generation-based, and modular pretrained-model baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI