マニピュレーション2025/12/1arXiv:2512.21065

粗から細への学習による言語誘導型把持検出

Language-Guided Grasp Detection with Coarse-to-Fine Learning for Robotic Manipulation

CLIPベースの視覚・言語埋め込みを階層的に融合し、言語指示に適応した把持検出を行う手法を提案。

詳しい要約

1. どんなもの？

- 言語指示に基づくロボット把持検出の新しい枠組み「Language-Guided Grasp Detection (LGGD)」を提案する研究。 - 自然言語指示と視覚情報を階層的に融合し、指示に適した把持を予測する。 - coarse-to-fine学習パラダイムを採用し、粗いマスク・把持予測から最終的な精緻化まで段階的に行う。 - 実ロボットプラットフォームへの展開も示す。

2. 先行研究と比べてどこがすごい？

- 既存のlanguage-conditioned grasping手法はshallow fusion戦略に依存し、意味的groundingや言語意図と視覚的把持推論のalignmentが弱いという課題があった。 - LGGDはhierarchical cross-modal fusion pipelineにより、言語cueを視覚特徴再構成へ段階的に注入する点が新しい。 - これによりfine-grainedなvisual-semantic alignmentと、指示に対する把持のfeasibility向上を狙う。 - 実験で既存のlanguage-guided grasping手法を上回ったと報告。

3. 技術・手法の肝は？

- CLIPベースのvisual/textual embeddingsを利用。 - hierarchical cross-modal fusion pipelineで言語cueを視覚特徴再構成に漸進的に注入。 - language-conditioned dynamic convolution head (LDCH)を導入し、文レベルの特徴に基づき複数のconvolution expertsを混合。 - これによりinstruction-adaptiveなcoarse maskとgrasp予測を実現。 - 最終refinement moduleで把持のconsistencyとrobustnessを強化。

4. どうやって有効だと検証した？

- OCID-VLGとGrasp-Anything++のデータセットで実験。 - 既存のlanguage-guided grasping手法を上回る性能を示した。 - unseen objectsや多様なlanguage queriesへのgeneralizationが強いことを示す。 - 実ロボットプラットフォームにdeployし、指示条件付きの正確な把持動作の実効性を実証。

5. 議論はある？

- 要旨からは不明。 - 想定される論点として、shallow fusionとの比較詳細、coarse-to-fine各段階の寄与、実環境での失敗事例や計算コストなどが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

- CLIP (Radford et al.) - OCID-VLG dataset - Grasp-Anything++ dataset - 既存のlanguage-conditioned grasping手法（要旨では個別名の言及なし） - coarse-to-fine learningに関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zebin Jiang, Tianle Jin, Xiangtong Yao, Alois Knoll, Hu Cao

分類: cs.RO, cs.CV

原文アブストラクト

Grasping is one of the most fundamental challenging capabilities in robotic manipulation, especially in unstructured, cluttered, and semantically diverse environments. Recent researches have increasingly explored language-guided manipulation, where robots not only perceive the scene but also interpret task-relevant natural language instructions. However, existing language-conditioned grasping methods typically rely on shallow fusion strategies, leading to limited semantic grounding and weak alignment between linguistic intent and visual grasp reasoning.In this work, we propose Language-Guided Grasp Detection (LGGD) with a coarse-to-fine learning paradigm for robotic manipulation. LGGD leverages CLIP-based visual and textual embeddings within a hierarchical cross-modal fusion pipeline, progressively injecting linguistic cues into the visual feature reconstruction process. This design enables fine-grained visual-semantic alignment and improves the feasibility of the predicted grasps with respect to task instructions. In addition, we introduce a language-conditioned dynamic convolution head (LDCH) that mixes multiple convolution experts based on sentence-level features, enabling instruction-adaptive coarse mask and grasp predictions. A final refinement module further enhances grasp consistency and robustness in complex scenes.Experiments on the OCID-VLG and Grasp-Anything++ datasets show that LGGD surpasses existing language-guided grasping methods, exhibiting strong generalization to unseen objects and diverse language queries. Moreover, deployment on a real robotic platform demonstrates the practical effectiveness of our approach in executing accurate, instruction-conditioned grasp actions. The code will be released publicly upon acceptance.

arXivで原文を読む →arXiv概要ページ

粗から細への学習による言語誘導型把持検出

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell