日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2601.18121

把持と持ち上げ:物理シミュレーションループ最適化による実行可能な3Dハンド・物体インタラクション再構成

Grasp-and-Lift: Executable 3D Hand-Object Interaction Reconstruction via Physics-in-the-Loop Optimization

シェア:XThreadsFacebookLINEはてブBluesky

視覚的に整合した手と物体の軌道を、物理シミュレータ上で実行可能な軌道へと変換するブラックボックス最適化フレームワークを提案。スプライン表現とCMA-ESにより、安定把持と持ち上げを実現しつつ元の人間動作からの逸脱を最小化する。

詳しい要約

1. どんなもの?

- 視覚的に整合した手-物体軌道データ(DexYCB、HO3Dなど)を、物理シミュレータで実行可能な軌道へ変換する枠組み。 - simulation-in-the-loop refinement を提案し、把持・持ち上げ(grasp-and-lift)を物理的に成立させる。 - 元の人間デモからの逸脱を抑えつつ、物理的成功を最大化する軌道を探索する。

2. 先行研究と比べてどこがすごい?

- 既存データセット(DexYCB、HO3D)は視覚整合を優先し、リプレイ時に penetration、missed contact、unstable grasps が生じる。 - MANIPTRANS などの transfer pipeline と比較し、リプレイ時の hand/object pose error が低く、hand-object physical interaction の再現精度が高い。 - 視覚デモを物理的に妥当な軌道へ変換する汎用・スケーラブルな手法を提供。

3. 技術・手法の肝は?

- 手の運動を sparse temporal keyframes 上の低次元 spline-based representation でパラメータ化。 - 高忠実度 physics engine を black-box objective とみなし、gradient-free optimizer の CMA-ES で最適化。 - 物理的成功(stable grasp and lift など)の最大化と、元の人間デモからの偏差最小化を同時に達成する運動を探索。

4. どうやって有効だと検証した?

- MANIPTRANS 系の transfer pipeline と比較評価。 - リプレイ時の hand および object の pose error を指標に、より低い誤差を達成。 - hand-object physical interaction の再現精度が向上することを示した。 - 具体的なデータセット規模や成功判定の詳細は要旨からは不明。

5. 議論はある?

- 視覚整合データを物理実行可能データへ変換する一般性・スケーラビリティを主張。 - 高忠実度データ生成が robust policy learning に重要と述べる。 - 限界、計算コスト、失敗事例、一般化範囲についての議論は要旨からは不明。

6. 次に読むべき論文は?

- MANIPTRANS(比較対象の transfer pipeline)。 - DexYCB、HO3D(元データセット)。 - CMA-ES(最適化手法)。 - physics-in-the-loop / simulation-in-the-loop 系の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Byeonggyeol Choi, Woojin Oh, Jongwoo Lim

分類: cs.RO, cs.CV

原文アブストラクト

Dexterous hand manipulation increasingly relies on large-scale motion datasets with precise hand-object trajectory data. However, existing resources such as DexYCB and HO3D are primarily optimized for visual alignment but often yield physically implausible interactions when replayed in physics simulators, including penetration, missed contact, and unstable grasps. We propose a simulation-in-the-loop refinement framework that converts these visually aligned trajectories into physically executable ones. Our core contribution is to formulate this as a tractable black-box optimization problem. We parameterize the hand's motion using a low-dimensional, spline-based representation built on sparse temporal keyframes. This allows us to use a powerful gradient-free optimizer, CMA-ES, to treat the high-fidelity physics engine as a black-box objective function. Our method finds motions that simultaneously maximize physical success (e.g., stable grasp and lift) while minimizing deviation from the original human demonstration. Compared to MANIPTRANS-recent transfer pipelines, our approach achieves lower hand and object pose errors during replay and more accurately recovers hand-object physical interactions. Our approach provides a general and scalable method for converting visual demonstrations into physically valid trajectories, enabling the generation of high-fidelity data crucial for robust policy learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI