日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

デジタルツイン/関節物体/URDFarXiv:2606.18861

RGB-DシーケンスからのURDF合成:微分可能な関節推定とエネルギー整合検証によるアプローチ

URDF Synthesis from RGB-D Sequences via Differentiable Joint Inference and Energy-Consistent Verification

シェア:XThreadsFacebookLINEはてブBluesky

短いRGB-Dシーケンスから関節物体のデジタルツインを構築するパイプラインを提案。部品形状・関節トポロジー・関節パラメータを同時推定し、エネルギー保存則を検証して物理シミュレータでのドリフトを低減する。

詳しい要約

1. どんなもの?

- RGB-D 系列から articulated object の simulation-ready digital twin を再構成する手法 KinemaForge を提案。 - part-level 形状・joint topology・joint parameters を jointly に推定し、URDF を生成。 - differentiable rigid-body dynamics に基づく energy-consistent verifier で検証。 - 対象は PartNet-Mobility の5カテゴリと内部 RGB-D benchmark。

2. 先行研究と比べてどこがすごい?

- 従来は part-level 幾何再構成と kinematic parameter 推定が分離していた。 - また復元モデルが energy conservation などの動的不変量を破り、simulator 再生時に drift が生じていた。 - 提案法はこれら2つの gap を同時に扱う。 - 最強の幾何 baseline PARIS に対し joint-axis error を 4.52°→2.83°(-37.4%)。 - interaction-based Ditto に対し 5.30°→2.83°(-46.6%)。 - 50 s rollout の long-horizon simulation drift を PARIS 比 64% 低減。 - closed-loop manipulation 成功率は Ditto 比 +14.6 ポイント。

3. 技術・手法の肝は?

- constraint-driven pipeline。 - kinematic constraint graph:joint-part incidence を soft edge として符号化。 - differentiable screw-axis solver:rendered observation から Featherstone の articulated-body algorithm を通して joint parameter へ backprop。 - energy residual loss:再構成モデルの非物理的な free response にペナルティ。 - これらを jointly に最適化し URDF を合成。

4. どうやって有効だと検証した?

- 5つの PartNet-Mobility カテゴリと内部 RGB-D benchmark で評価。 - joint-axis error を PARIS・Ditto と比較。 - 50 s rollout での long-horizon simulation drift を評価。 - closed-loop manipulation 成功率を preliminary evaluation で比較。 - energy-consistent verifier による検証を実施。

5. 議論はある?

- 要旨からは不明。 - 限界・失敗事例・計算コスト・一般化性に関する議論は要旨に記載なし。 - closed-loop manipulation の評価は preliminary と述べられている。

6. 次に読むべき論文は?

- PARIS(最強の幾何 baseline)。 - Ditto(interaction-based baseline)。 - Featherstone の articulated-body algorithm。 - PartNet-Mobility dataset。 - differentiable rigid-body dynamics 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinze Zhang

分類: cs.CV, cs.AI

原文アブストラクト

Reconstructing simulation-ready digital twins of articulated objects from sensor observations remains constrained by two persistent gaps: (i) part-level geometric reconstruction is decoupled from kinematic-parameter estimation, and (ii) the recovered models often violate basic dynamic invariants such as energy conservation, leading to drift when the URDF is replayed in physics simulators. We present KinemaForge, a constraint-driven pipeline that jointly infers part-level shape, joint topology, and joint parameters from short RGB-D sequences and validates the result against an energy-consistent verifier built on differentiable rigid-body dynamics. The pipeline introduces three components: a kinematic constraint graph that encodes joint-part incidences as soft edges; a differentiable screw-axis solver that backpropagates from rendered observations through Featherstone's articulated-body algorithm to joint parameters; and an energy residual loss that penalises non-physical free responses of the reconstructed model. Across five PartNet-Mobility categories and an internal RGB-D benchmark, KinemaForge reduces the average joint-axis error from 4.52 degrees to 2.83 degrees (-37.4%) over the strongest geometric baseline (PARIS) and from 5.30 degrees to 2.83 degrees (-46.6%) over the interaction-based Ditto baseline, lowers long-horizon simulation drift by 64% (vs. PARIS) over 50 s rollouts, and yields URDFs whose closed-loop manipulation success rate improves by 14.6 percentage points over Ditto in our preliminary evaluation. Code and reconstruction data will be released upon acceptance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI