日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.06363

実演からの多関節物体の逐次運動学モデル学習

Learning Sequential Kinematic Models from Demonstrations for Multi-Jointed Articulated Objects

シェア:XThreadsFacebookLINEはてブBluesky

人間の実演から多自由度関節物体の運動学制約と操作順序を同時に学習するOKSM表現と、点群からそれを推定するPokenetを提案し、実世界で関節軸・状態推定精度を20%以上改善した。

詳しい要約

1. どんなもの?

- 多自由度(multi-DoF)の articulated object を対象に、人間の demonstration から物体モデルを学習する研究。 - 提案表現 Object Kinematic Sequence Machines (OKSMs):kinematic constraints と manipulation order の両方を表現。 - 推定用の深層ニューラルネットワーク Pokenet を提案し、point cloud から OKSM を推定。 - Sawyer robot 上で inverse kinematics-based planning により multi-DoF 物体操作を実演。

2. 先行研究と比べてどこがすごい?

- 既存手法は prior knowledge に依存したり、single-DoF 物体のみを対象とする制約があった。 - 既存手法は occluded joints を扱えず、関節にアクセスするための manipulation sequence も考慮しない。 - 本研究は multi-DoF 物体を対象に、occluded joints と manipulation order を扱える点が新しい。 - 実世界データで joint axis と state の推定精度が prior methods 比で 20% 以上向上。

3. 技術・手法の肝は?

- 人間の demonstration から物体モデルを学習する枠組み。 - OKSMs は kinematic constraints と manipulation order を同時に表現する新規表現。 - Pokenet は point cloud データから OKSM を推定するよう human demonstrations で学習した deep neural network。 - 計画には inverse kinematics-based planning を用いる。

4. どうやって有効だと検証した?

- 8,000 の simulated samples と 1,600 の real-world annotated samples で検証。 - 実世界データにおいて Pokenet が joint axis と state の推定を prior methods 比で 20% 以上改善。 - OKSMs を Sawyer robot 上で inverse kinematics-based planning と組み合わせて multi-DoF 物体操作を実演。

5. 議論はある?

- 要旨からは不明(occluded joints や manipulation sequence の具体的な限界、失敗事例、計算コスト等の議論は記述なし)。

6. 次に読むべき論文は?

- 要旨で参照・比較されている prior methods の具体名は不明。 - 関連手法として object modeling を用いた classical planning 系研究、single-DoF articulated object のモデル学習研究、point cloud からの kinematic 推定研究が次に読む候補。 - 固有名が要旨に無いため、同分野の定番として articulated object manipulation や kinematic structure estimation の論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anmol Gupta, Weiwei Gu, Omkar Patil, Jun Ki Lee, Nakul Gopalan

分類: cs.RO, cs.AI

原文アブストラクト

As robots become more generalized and deployed in diverse environments, they must interact with complex objects, many with multiple independent joints or degrees of freedom (DoF) requiring precise control. A common strategy is object modeling, where compact state-space models are learned from real-world observations and paired with classical planning. However, existing methods often rely on prior knowledge or focus on single-DoF objects, limiting their applicability. They also fail to handle occluded joints and ignore the manipulation sequences needed to access them. We address this by learning object models from human demonstrations. We introduce Object Kinematic Sequence Machines (OKSMs), a novel representation capturing both kinematic constraints and manipulation order for multi-DoF objects. To estimate these models from point cloud data, we present Pokenet, a deep neural network trained on human demonstrations. We validate our approach on 8,000 simulated and 1,600 real-world annotated samples. Pokenet improves joint axis and state estimation by over 20 percent on real-world data compared to prior methods. Finally, we demonstrate OKSMs on a Sawyer robot using inverse kinematics-based planning to manipulate multi-DoF objects.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI