マニピュレーション2025/6/1arXiv:2506.14317

ClutterDexGrasp：散らかった環境での汎用器用把持のためのSim-to-Realシステム

ClutterDexGrasp: A Sim-to-Real System for General Dexterous Grasping in Cluttered Scenes

散らかったシーンで目標物体を把持するため、シミュレーションで教師方策を訓練し、3D拡散方策の生徒モデルに蒸留して実機にゼロショット転移する閉ループシステムを提案した。

詳しい要約

1. どんなもの？

- 混雑したシーン(cluttered scenes)における目標指向の器用把持(dexterous grasping)を実現するシステム - ClutterDexGrasp と名付けられた二段階の teacher-student フレームワーク - シミュレーションで訓練した teacher を student に蒸留し、実環境へ zero-shot 展開する閉ループ系 - 部分点群(partial point cloud)観測に基づいて動作する

2. 先行研究と比べてどこがすごい？

- 既存手法は単一物体把持や相互作用なしの把持姿勢予測が中心で、複雑な混雑シーンには不十分 - 近年の vision-language-action モデルは実世界デモンストレーションを大量に必要とし、コスト高でスケール困難 - 本研究は sim-to-real パイプラインを再検討し、実環境での zero-shot 展開と頑健な汎化を両立 - 著者らの知る限り、混雑シーンでの目標指向器用把持における初の zero-shot sim-to-real 閉ループシステム

3. 技術・手法の肝は？

- 二段階の teacher-student 構成 - teacher はシミュレーションで clutter density curriculum learning を用いて訓練 - 幾何情報と空間的に埋め込まれたシーン表現(geometry and spatially-embedded scene representation)を採用 - 新規の包括的安全カリキュラム(comprehensive safety curriculum)を導入し、汎用的・動的・安全な把持行動を実現 - imitation learning により teacher の知識を student 3D diffusion policy (DP3) へ蒸留 - student は部分点群観測で動作

4. どうやって有効だと検証した？

- 多様な物体とレイアウトに対して頑健な性能を実証したと記載 - zero-shot sim-to-real 閉ループシステムとしての有効性を示す - 具体的な評価指標・実験設定・比較対象は要旨からは不明 - 詳細はプロジェクトページ(https://clutterdexgrasp.github.io/)で公開

5. 議論はある？

- 混雑シーン特有の多様な物体形状・オクルージョン・衝突可能性への対処が課題として背景に存在 - vision-language-action モデルの実世界デモ依存とスケール困難性を代替するアプローチを提示 - 限界や失敗事例、安全性カリキュラムの詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 3D diffusion policy (DP3) - vision-language-action models - clutter density curriculum learning 関連研究 - sim-to-real transfer パイプラインに関する研究 - 単一物体把持・把持姿勢予測の既存手法(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyuan Chen, Qiyang Yan, Yuanpei Chen, Tianhao Wu, Jiyao Zhang, Zihan Ding, Jinzhou Li, Yaodong Yang, Hao Dong

分類: cs.RO

原文アブストラクト

Dexterous grasping in cluttered scenes presents significant challenges due to diverse object geometries, occlusions, and potential collisions. Existing methods primarily focus on single-object grasping or grasp-pose prediction without interaction, which are insufficient for complex, cluttered scenes. Recent vision-language-action models offer a potential solution but require extensive real-world demonstrations, making them costly and difficult to scale. To address these limitations, we revisit the sim-to-real transfer pipeline and develop key techniques that enable zero-shot deployment in reality while maintaining robust generalization. We propose ClutterDexGrasp, a two-stage teacher-student framework for closed-loop target-oriented dexterous grasping in cluttered scenes. The framework features a teacher policy trained in simulation using clutter density curriculum learning, incorporating both a geometry and spatially-embedded scene representation and a novel comprehensive safety curriculum, enabling general, dynamic, and safe grasping behaviors. Through imitation learning, we distill the teacher's knowledge into a student 3D diffusion policy (DP3) that operates on partial point cloud observations. To the best of our knowledge, this represents the first zero-shot sim-to-real closed-loop system for target-oriented dexterous grasping in cluttered scenes, demonstrating robust performance across diverse objects and layouts. More details and videos are available at https://clutterdexgrasp.github.io/.

arXivで原文を読む →arXiv概要ページ

ClutterDexGrasp：散らかった環境での汎用器用把持のためのSim-to-Realシステム

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell