日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.10616

AdaClearGrasp: 密集環境でのロバストなゼロショット器用把持のための適応的クリアリング学習

AdaClearGrasp: Learning Adaptive Clearing for Zero-Shot Robust Dexterous Grasping in Densely Cluttered Environments

シェア:XThreadsFacebookLINEはてブBluesky

密集環境での器用な把持を実現するため、視覚言語モデルを用いて直接把持するか周囲をクリアするかを適応的に決定する閉ループ意思決定・実行フレームワークを提案した。

詳しい要約

1. どんなもの?

- 密集した clutter 環境での zero-shot dexterous grasping を目指す closed-loop decision-execution framework。 - 直接把持か周辺物体の clearing かを高レベルで適応的に決定する。 - pretrained VLM が視覚と言語タスク記述を解釈し、干渉を推論して planning skeleton を生成。 - 統一 action interface で structured atomic skills を呼び出す。 - dexterous grasping は relative hand-object distance representation を用いた RL policy で学習。 - 実行中は visual feedback で監視し、失敗時に replanning する closed-loop correction を備える。 - Clutter-Bench と sim-to-real 実験を導入。

2. 先行研究と比べてどこがすごい?

- 従来の直接把持は physical interference, visual occlusions, unstable contacts で失敗しやすい。 - aggressive singulation は安全性を損なう可能性がある。 - 本研究は clearing か直接把持かを適応的に決める点が新しい。 - VLM による高レベル推論と RL による dexterous grasping を統合。 - relative hand-object distance representation により多様な形状・物性へ zero-shot 汎化。 - Clutter-Bench は graded clutter complexity を備えた初の simulation benchmark と主張。

3. 技術・手法の肝は?

- manipulation を controllable high-level decision process として定式化。 - pretrained VLM が visual observations と言語タスク記述から grasp interference を推論。 - high-level planning skeleton を生成し、unified action interface 経由で structured atomic skills を呼ぶ。 - dexterous grasping 用に relative hand-object distance representation で RL policy を訓練。 - 実行時に visual feedback で結果を監視し、失敗で replanning する closed-loop correction。

4. どうやって有効だと検証した?

- Clutter-Bench を導入。graded clutter complexity を持つ初の simulation benchmark。 - 7 target objects × 3 clutter levels = 210 task scenarios で評価。 - 3 objects × 3 clutter levels = 18 scenarios の sim-to-real 実験も実施。 - 結果、AdaClearGrasp は密集 clutter 環境で grasp success rates を有意に改善。 - 詳細な数値や比較手法は要旨からは不明。

5. 議論はある?

- 密集 clutter での physical interference, visual occlusions, unstable contacts への対処が焦点。 - aggressive singulation の安全性問題を回避する適応的 clearing の必要性を議論。 - zero-shot 汎化と closed-loop correction の有効性を示す。 - 限界や失敗事例、計算コスト、VLM 依存性などの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として vision-language model (VLM), reinforcement learning, sim-to-real transfer, dexterous grasping, clutter clearing/singulation の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixuan Chen, Wenquan Zhang, Jing Fang, Ruiming Zeng, Zhixuan Xu, Yiwen Hou, Xinke Wang, Jieqi Shi, Jing Huo, Yang Gao

分類: cs.RO

原文アブストラクト

In densely cluttered environments, physical interference, visual occlusions, and unstable contacts often cause direct dexterous grasping to fail, while aggressive singulation strategies may compromise safety. Enabling robots to adaptively decide whether to clear surrounding objects or directly grasp the target is therefore crucial for robust manipulation. We propose AdaClearGrasp, a closed-loop decision-execution framework for adaptive clearing and zero-shot dexterous grasping in densely cluttered environments. The framework formulates manipulation as a controllable high-level decision process that determines whether to directly grasp the target or first clear surrounding objects. A pretrained vision-language model (VLM) interprets visual observations and language task descriptions to reason about grasp interference and generate a high-level planning skeleton, which invokes structured atomic skills through a unified action interface. For dexterous grasping, we train a reinforcement learning policy with a relative hand-object distance representation, enabling zero-shot generalization across diverse object geometries and physical properties. During execution, visual feedback monitors outcomes and triggers replanning upon failures, forming a closed-loop correction mechanism. To evaluate language-conditioned dexterous grasping in clutter, we introduce Clutter-Bench, the first simulation benchmark with graded clutter complexity. It includes seven target objects across three clutter levels, yielding 210 task scenarios. We further perform sim-to-real experiments on three objects under three clutter levels (18 scenarios). Results demonstrate that AdaClearGrasp significantly improves grasp success rates in densely cluttered environments. For more videos and code, please visit our project website: https://chenzixuan99.github.io/adaclear-grasp.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI