日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11032

DexGarmentLab: 巧みな衣類操作のための環境と汎化可能な方策

DexGarmentLab: Dexterous Garment Manipulation Environment with Generalizable Policy

シェア:XThreadsFacebookLINEはてブBluesky

両手での巧みな衣類操作に特化した大規模シミュレーション環境DexGarmentLabを構築し、単一の実演から多様な軌道を自動生成する手法と、形状・変形の多様性に汎化する階層的な操作方策HALOを提案した。

詳しい要約

1. どんなもの?

- 布製品(garment)の巧緻操作、特に両手(bimanual)操作に特化した初のシミュレーション環境 DexGarmentLab の提案。 - 15 の task scenario 向けに大規模で高品質な 3D asset を備える。 - garment modeling に合わせた simulation 技術の改良により sim-to-real gap の縮小を狙う。 - 併せて Hierarchical gArment-manipuLation pOlicy (HALO) を提案。

2. 先行研究と比べてどこがすごい?

- 既存研究は巧緻な garment 操作の現実的な simulation が不足し、人間の手のような dexterity を再現できていなかった。 - 従来のデータ収集は teleoperation や expert reinforcement learning (RL) policy の訓練に依存し、労力が大きく非効率だった。 - 本研究は単一の expert demonstration のみから多様な trajectory の dataset を自動生成し、人手の介入を大幅に削減。 - HALO は未見の形状・変形に対しても既存手法より一貫して優れると報告。

3. 技術・手法の肝は?

- garment structural correspondence を利用し、単一の expert demonstration から多様な trajectory を持つ dataset を自動生成。 - HALO は階層構造の policy で、まず transferable affordance point を同定して操作領域を正確に特定。 - 次に多様な garment 形状・変形へ汎化可能な trajectory を生成してタスクを完了。 - simulation 側では garment modeling 向けに調整した手法で sim-to-real gap の低減を図る。

4. どうやって有効だと検証した?

- 提案手法と baseline について extensive experiments と詳細な分析を実施。 - HALO が既存手法を一貫して上回ることを示す。 - 形状・変形が大きく異なる未見 instance へも汎化し、他手法が失敗する条件でも成功することを確認。 - 具体的な評価指標・タスク設定の詳細は要旨からは不明。

5. 議論はある?

- 大規模な demonstration でも garment の無限の状態を網羅できないため、新たな algorithm の探索が必要と論じる。 - 形状・変形への汎化が中心課題であり、HALO の階層的設計で対処する立場。 - sim-to-real gap の残存度や実機検証の有無は要旨からは不明。 - baseline の具体的な種類や比較条件も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として teleoperation によるデータ収集、expert reinforcement learning (RL) policy の訓練、affordance に基づく manipulation 研究を挙げる。 - garment manipulation の simulation 環境や deformable object 操作の定番研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuran Wang, Ruihai Wu, Yue Chen, Jiarui Wang, Jiaqi Liang, Ziyu Zhu, Haoran Geng, Jitendra Malik, Pieter Abbeel, Hao Dong

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Garment manipulation is a critical challenge due to the diversity in garment categories, geometries, and deformations. Despite this, humans can effortlessly handle garments, thanks to the dexterity of our hands. However, existing research in the field has struggled to replicate this level of dexterity, primarily hindered by the lack of realistic simulations of dexterous garment manipulation. Therefore, we propose DexGarmentLab, the first environment specifically designed for dexterous (especially bimanual) garment manipulation, which features large-scale high-quality 3D assets for 15 task scenarios, and refines simulation techniques tailored for garment modeling to reduce the sim-to-real gap. Previous data collection typically relies on teleoperation or training expert reinforcement learning (RL) policies, which are labor-intensive and inefficient. In this paper, we leverage garment structural correspondence to automatically generate a dataset with diverse trajectories using only a single expert demonstration, significantly reducing manual intervention. However, even extensive demonstrations cannot cover the infinite states of garments, which necessitates the exploration of new algorithms. To improve generalization across diverse garment shapes and deformations, we propose a Hierarchical gArment-manipuLation pOlicy (HALO). It first identifies transferable affordance points to accurately locate the manipulation area, then generates generalizable trajectories to complete the task. Through extensive experiments and detailed analysis of our method and baseline, we demonstrate that HALO consistently outperforms existing methods, successfully generalizing to previously unseen instances even with significant variations in shape and deformation where others fail. Our project page is available at: https://wayrise.github.io/DexGarmentLab/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI