マニピュレーション2025/10/1arXiv:2510.05827

VCoT-Grasp: 視覚的思考連鎖推論による言語駆動型把持生成のための把持基盤モデル

VCoT-Grasp: Grasp Foundation Models with Visual Chain-of-Thought Reasoning for Language-driven Grasp Generation

視覚的思考連鎖推論を組み込んだエンドツーエンドの把持基盤モデルを提案し、大規模データセットを構築して、実環境での把持成功率と未知物体への汎化性能を向上させた。

詳しい要約

1. どんなもの？

- 言語駆動の grasp generation のための end-to-end grasp foundation model「VCoT-Grasp」 - visual chain-of-thought reasoning を組み込み、grasp 生成のための視覚理解を強化 - multi-turn processing paradigm で視覚入力に動的に注目し、解釈可能な reasoning traces を出力 - 大規模データセット「VCoT-GraspSet」を整備・導入 - 167K synthetic images、1.36M 以上の grasps - 400+ real-world images、1.2K 以上の grasps、intermediate bounding boxes 付き

2. 先行研究と比べてどこがすごい？

- 既存手法の課題: 十分な reasoning・generalization 能力の欠如、または複雑な modular pipelines への依存 - 既存の grasp foundation models は dialog や object semantics を過度に重視し、性能低下や single-object grasping への制限があった - 本研究は end-to-end で visual chain-of-thought reasoning を統合し、cluttered environments での強い reasoning と generalization の維持を狙う - 具体的な数値比較は要旨からは不明

3. 技術・手法の肝は？

- end-to-end の grasp foundation model に visual chain-of-thought reasoning を組み込む - multi-turn processing paradigm を採用 - 視覚入力へ動的に注目 - 解釈可能な reasoning traces を生成 - 学習用に VCoT-GraspSet を整備 - synthetic と real-world の画像・grasp アノテーション - intermediate bounding boxes を付与

4. どうやって有効だと検証した？

- VCoT-GraspSet 上および real robot での extensive experiments を実施 - 結果として grasp success rates が大幅に改善 - unseen objects、backgrounds、distractors への有効な generalization を示す - 具体的な実験設定・指標の詳細は要旨からは不明

5. 議論はある？

- 既存 grasp foundation models の dialog・object semantics 偏重への問題提起 - cluttered environments での reasoning と generalization の両立を狙う設計思想 - 限界・失敗事例・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として grasp foundation models、language-driven grasp generation、chain-of-thought reasoning、modular pipelines 系の研究を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Zhang, Shuanghao Bai, Wanqi Zhou, Yuedi Zhang, Qi Zhang, Pengxiang Ding, Cheng Chi, Donglin Wang, Badong Chen

分類: cs.RO, cs.AI

原文アブストラクト

Robotic grasping is one of the most fundamental tasks in robotic manipulation, and grasp detection/generation has long been the subject of extensive research. Recently, language-driven grasp generation has emerged as a promising direction due to its practical interaction capabilities. However, most existing approaches either lack sufficient reasoning and generalization capabilities or depend on complex modular pipelines. Moreover, current grasp foundation models tend to overemphasize dialog and object semantics, resulting in inferior performance and restriction to single-object grasping. To maintain strong reasoning ability and generalization in cluttered environments, we propose VCoT-Grasp, an end-to-end grasp foundation model that incorporates visual chain-of-thought reasoning to enhance visual understanding for grasp generation. VCoT-Grasp adopts a multi-turn processing paradigm that dynamically focuses on visual inputs while providing interpretable reasoning traces. For training, we refine and introduce a large-scale dataset, VCoT-GraspSet, comprising 167K synthetic images with over 1.36M grasps, as well as 400+ real-world images with more than 1.2K grasps, annotated with intermediate bounding boxes. Extensive experiments on both VCoT-GraspSet and real robot demonstrate that our method significantly improves grasp success rates and generalizes effectively to unseen objects, backgrounds, and distractors. More details can be found at https://zhanghr2001.github.io/VCoT-Grasp.github.io.

arXivで原文を読む →arXiv概要ページ

VCoT-Grasp: 視覚的思考連鎖推論による言語駆動型把持生成のための把持基盤モデル

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell