日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.15953

裏返しロボット:ゼロショットSim-to-Realによる衣類の裏返し操作

Right-Side-Out: Learning Zero-Shot Sim-to-Real Garment Reversal

シェア:XThreadsFacebookLINEはてブBluesky

衣類を裏返す動的で遮蔽の多いタスクを、タスク分解とGPU並列MPMシミュレータによる自動データ生成で解決し、実機で最大81.3%の成功率を達成したゼロショットsim-to-realフレームワーク。

詳しい要約

1. どんなもの?

- 衣類を裏返しから表側に返す(right-side out)という動的で接触変化が激しく、視覚的オクルージョンが severe な manipulation タスクを解く研究。 - zero-shot sim-to-real フレームワーク Right-Side-Out を提案。 - タスクを Drag/Fling と Insert&Pull に分解し、各段階を depth から推定した keypoint パラメータ化 bimanual primitive で実行。 - 単一 depth camera のみで、simulation のみで訓練した policy を実機に zero-shot 展開し最大 81.3% の成功率。

2. 先行研究と比べてどこがすごい?

- 従来は人間の demonstration が laborious に必要な動的・高オクルージョンタスクであったのに対し、完全自動 pipeline で人手アノテーションなしにデータ生成。 - タスク分解と keypoint パラメータ化 primitive により action space を大幅削減しつつ robustness を維持。 - 自作の GPU-parallel MPM simulator で thin-shell deformation と接触を効率的に扱い、batched rollouts を実現。 - 具体的な先行研究名・比較数値は要旨からは不明。

3. 技術・手法の肝は?

- タスクを Drag/Fling(access opening の生成・安定化)と Insert&Pull(衣類の反転)に分解。 - 各ステップで depth から推定した keypoint パラメータ化 bimanual primitive を使用し action space を縮小。 - 自作の高忠実度 GPU-parallel Material Point Method (MPM) simulator が thin-shell deformation と接触処理を担う。 - 自動 pipeline で garment geometry・material parameters・viewpoints をランダム化し、depth・masks・per-primitive keypoint labels を人手なしで生成。

4. どうやって有効だと検証した?

- simulation のみで訓練した policy を単一 depth camera の実機に zero-shot 展開。 - 最大 81.3% の success rate を達成したと報告。 - 詳細な実験条件・ベースライン比較・被験者数などは要旨からは不明。

5. 議論はある?

- タスク分解と高忠実度 simulation により、人手 demonstration なしで動的・高オクルージョンタスクに取り組める点を主張。 - 限界・失敗要因・sim-to-real gap の詳細な議論は要旨からは不明。 - 81.3% という成功率の残り約 19% の失敗分析は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Material Point Method (MPM) simulator、sim-to-real transfer、keypoint-based bimanual manipulation、garment manipulation の定番研究を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chang Yu, Siyu Ma, Wenxin Du, Zeshun Zong, Han Xue, Wendi Chen, Cewu Lu, Yin Yang, Xuchen Han, Joseph Masterjohn, Alejandro Castro, Chenfanfu Jiang

分類: cs.RO

原文アブストラクト

Turning garments right-side out is a challenging manipulation task: it is highly dynamic, entails rapid contact changes, and is subject to severe visual occlusion. We introduce Right-Side-Out, a zero-shot sim-to-real framework that effectively solves this challenge by exploiting task structures. We decompose the task into Drag/Fling to create and stabilize an access opening, followed by Insert&Pull to invert the garment. Each step uses a depth-inferred, keypoint-parameterized bimanual primitive that sharply reduces the action space while preserving robustness. Efficient data generation is enabled by our custom-built, high-fidelity, GPU-parallel Material Point Method (MPM) simulator that models thin-shell deformation and provides robust and efficient contact handling for batched rollouts. Built on the simulator, our fully automated pipeline scales data generation by randomizing garment geometry, material parameters, and viewpoints, producing depth, masks, and per-primitive keypoint labels without any human annotations. With a single depth camera, policies trained entirely in simulation deploy zero-shot on real hardware, achieving up to 81.3% success rate. By employing task decomposition and high fidelity simulation, our framework enables tackling highly dynamic, severely occluded tasks without laborious human demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI