日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

関節物体再構成arXiv:2512.01629

SPARK: VLM知識を活用したシミュレーション可能なパーツレベル関節物体の再構成

SPARK: Sim-ready Part-level Articulated Reconstruction with VLM Knowledge

シェア:XThreadsFacebookLINEはてブBluesky

単一のRGB画像からVLMを活用して関節物体をパーツ単位で再構成し、微分可能な順運動学とレンダリングでURDFパラメータを最適化してシミュレーション可能なアセットを生成するフレームワーク。

詳しい要約

1. どんなもの?

- 単一の RGB 画像から、物理的に整合し運動学的に正しい part-level の articulated object を再構成するフレームワーク SPARK を提案 - 出力は simulation-ready な URDF 形式の articulated asset で、embodied AI・robotics・interactive scene understanding への応用を狙う - part hierarchy と motion structure の専門的モデリングを要する従来の人手作業を自動化することを目的とする

2. 先行研究と比べてどこがすごい?

- 従来は simulation-ready な articulated asset 作成が labor-intensive で専門家による part hierarchy・motion structure のモデリングが必要だった - SPARK は単一 RGB 画像から VLM 知識を活用して URDF パラメータと part-level 参照画像を得る点が新しい - 生成モデルと differentiable forward kinematics・differentiable rendering を組み合わせ、joint types・axes・origins まで最適化する点が先行研究との差異 - 具体的な比較対象の研究名は要旨からは不明

3. 技術・手法の肝は?

- 入力画像から VLM を用いて coarse な URDF parameters を抽出し、part-level reference images を生成 - part-image guidance と inferred structure graph を generative diffusion transformer に統合し、part 形状と全体形状を一貫して合成 - differentiable forward kinematics と differentiable rendering を導入し、VLM が生成した open-state supervision の下で joint types・axes・origins を最適化 - これにより URDF パラメータを精緻化するパイプラインが肝

4. どうやって有効だと検証した?

- 多様なカテゴリにわたり高品質で simulation-ready な articulated assets を生成できることを extensive experiments で示す - 下流応用として robotic manipulation と interaction modeling が可能であることを示す - 具体的なデータセット名・評価指標・ベースラインは要旨からは不明

5. 議論はある?

- 単一 RGB 画像入力という設定の限界や、VLM 由来の coarse URDF の誤りへの依存については要旨からは不明 - open-state supervision の品質や、多様な joint types への一般化可能性についての議論は要旨からは不明 - 定量的な失敗事例や限界の記述は要旨からは不明

6. 次に読むべき論文は?

- VLM を用いた articulated object の URDF 推定に関する研究(具体名は要旨からは不明) - generative diffusion transformer を用いた 3D shape/part 生成の関連研究(具体名は要旨からは不明) - differentiable forward kinematics と differentiable rendering を組み合わせた articulated object 最適化の関連研究(具体名は要旨からは不明) - 同分野の定番として articulated object の part-level 再構成や URDF 生成に関する研究を参照すべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yumeng He, Ying Jiang, Jiayin Lu, Yin Yang, Chenfanfu Jiang

分類: cs.CV, cs.RO

原文アブストラクト

Articulated 3D objects are critical for embodied AI, robotics, and interactive scene understanding, yet creating simulation-ready assets remains labor-intensive and requires expert modeling of part hierarchies and motion structures. We introduce SPARK, a framework for reconstructing physically consistent, kinematic part-level articulated objects from a single RGB image. Given an input image, we first leverage VLMs to extract coarse URDF parameters and generate part-level reference images. We then integrate the part-image guidance and the inferred structure graph into a generative diffusion transformer to synthesize consistent part and complete shapes of articulated objects. To further refine the URDF parameters, we incorporate differentiable forward kinematics and differentiable rendering to optimize joint types, axes, and origins under VLM-generated open-state supervision. Extensive experiments show that SPARK produces high-quality, simulation-ready articulated assets across diverse categories, enabling downstream applications such as robotic manipulation and interaction modeling. Project page: https://heyumeng.com/SPARK/index.html.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI