日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dオブジェクト関節化arXiv:2606.14699

インストラクト・パーティキュレート:運動学的制御によるフィードフォワード3Dオブジェクト関節化のスケーリング

Instruct-Particulate: Scaling Feed-Forward 3D Object Articulation with Kinematic Control

シェア:XThreadsFacebookLINEはてブBluesky

3Dメッシュと目標の運動学的仕様(部品記述、接続、関節タイプなど)を入力として、対応する部品分割と関節運動パラメータを予測するモデルを提案。大規模な異種データセット(15万以上の関節化3Dオブジェクト)で訓練し、カテゴリ横断やAI生成メッシュへの一般化を向上させた。

詳しい要約

1. どんなもの?

- 3Dメッシュと運動学的仕様(パート記述、接続性、ジョイントタイプ、任意の点プロンプト)を入力とし、対応する運動学的パートセグメンテーションとジョイント運動パラメータを予測するモデル「Instruct-Particulate」を提案。 - アニメーション、ゲーム、ロボティクスシミュレーションのための関節付き3Dオブジェクト再構成を目的とする。 - テスト時には運動学的仕様を大規模視覚言語モデルから自動取得し、任意の入力メッシュに適用可能。

2. 先行研究と比べてどこがすごい?

- 従来のニューラルネットワークは関節付き3Dオブジェクトの構造推定が可能だが、注釈付きデータの不足により汎化が限定的だった。 - 本手法は運動学的仕様を入力に与えることでタスクの曖昧さを解消し、異なる粒度の注釈を対象にできるため、より豊富で異種混合の訓練データを利用可能にした。 - カテゴリ間やAI生成メッシュへの汎化性能が向上し、実世界画像からの関節付きアセット再構成を可能にした。

3. 技術・手法の肝は?

- 入力として3Dメッシュと運動学的仕様(パート記述、接続性、ジョイントタイプ、任意の点プロンプト)を受け取り、運動学的パートセグメンテーションとジョイント運動パラメータを予測する。 - 運動学的仕様はタスクを明確化し、異なる粒度の注釈をターゲットにできるため、異種混合訓練データの利用を可能にする。 - 大規模訓練のため、既存の公開コレクションを拡張し、視覚言語モデルを用いて他の3Dモデル(モノリシックまたは既にパート分解済み)に運動学的ラベルを部分的に付与することで、15万以上の関節付き3Dオブジェクトからなる異種混合データセットを構築。

4. どうやって有効だと検証した?

- 実験により、本モデルがカテゴリ間およびAI生成メッシュに対してより良い汎化を示すことを確認。 - 画像から3Dモデルへの変換モデルを介して、実世界画像からの関節付きアセット再構成を可能にすることを実証。 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:関節付き3Dオブジェクトの構造を推定する最近のニューラルネットワーク、大規模視覚言語モデル、画像から3Dへのモデル。 - 関連手法:運動学的仕様を用いた関節付きオブジェクト再構成、異種混合データセットの構築手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruining Li, Yuxin Yao, Matt Zhou, Chuanxia Zheng, Christian Rupprecht, Joan Lasenby, Shangzhe Wu, Andrea Vedaldi

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Reconstructing articulated 3D objects is important for animation, gaming, and robotic simulations. Recent neural networks can estimate the articulated structure of 3D objects, but their generalization remains limited by the scarcity of annotated data for this task. To address this gap, we introduce Instruct-Particulate, a model that takes a 3D mesh together with a target kinematic specification, including part descriptions, connectivity, joint types, and optional point prompts, and predicts the corresponding kinematic part segmentation and joint motion parameters. The kinematic specification disambiguates the task and allows the model to target annotations of different granularity, thereby making it possible to use more abundant heterogeneous training data. At test time, the kinematic specification can be obtained automatically from large-scale vision-language models, so the model can be applied to any input mesh. To train our model at scale, we construct a heterogeneous dataset of more than 150,000 articulated 3D objects, extending existing publicly available collections with data obtained by partially labelling other 3D models (monolithic or already decomposed into parts) with kinematic labels by means of vision-language models. Experiments show that our model generalizes better across categories and to AI-generated meshes, enabling articulated asset reconstruction from real-world images via image-to-3D models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI