日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2602.04231

GeoLanG: 幾何学認識と統合RGB-Dマルチモーダル学習による言語誘導把持

GeoLanG: Geometry-Aware Language-Guided Grasping with Unified RGB-D Multimodal Learning

シェア:XThreadsFacebookLINEはてブBluesky

CLIPを基盤に視覚と言語を統合し、深度情報を幾何学的事前知識として活用することで、雑然とした環境でも言語指示に基づく把持を実現するエンドツーエンド手法を提案。

詳しい要約

1. どんなもの？

- 言語指示に基づく把持（language-guided grasping）を実現するためのエンドツーエンド・マルチタスクフレームワーク「GeoLanG」を提案。 - CLIPアーキテクチャを基盤とし、視覚と言語入力を共有表現空間に統合して意味的アライメントと汎化性能を向上。 - 深度情報を活用するDepth-guided Geometric Module (DGGM)と、多層特徴の適応的統合（Adaptive Dense Channel Integration）を導入。 - 混雑・遮蔽・低テクスチャ環境での言語誘導把持を対象とする。

2. 先行研究と比べてどこがすごい？

- 既存手法は物体知覚と把持を分離した多段パイプラインが多く、クロスモーダル融合が限定的で計算冗長、混雑・遮蔽・低テクスチャ場面での汎化が不十分。 - GeoLanGはエンドツーエンドで視覚と言語を統合し、これらの問題を解決。 - 深度情報を明示的幾何事前として注意機構に注入し、追加計算コストなしで遮蔽・低テクスチャ下の対象識別を強化。 - 多層特徴の適応的バランスにより、より識別性・汎化性の高い視覚表現を生成。

3. 技術・手法の肝は？

- CLIPアーキテクチャを基盤としたエンドツーエンド・マルチタスクフレームワーク。 - Depth-guided Geometric Module (DGGM)：深度を明示的幾何事前に変換し、注意機構に注入。追加計算オーバーヘッドなし。 - Adaptive Dense Channel Integration：多層特徴の寄与を適応的にバランスし、識別性・汎化性の高い視覚表現を生成。 - 視覚と言語入力を共有表現空間に統合し、意味的アライメントを実現。

4. どうやって有効だと検証した？

- OCID-VLGデータセットでの広範な実験。 - シミュレーションと実世界ハードウェアの両方で評価。 - 複雑で混雑した環境において、正確かつ堅牢な言語誘導把持を実現することを実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- CLIP（Radford et al.） - OCID-VLGデータセット - 言語誘導把持に関する既存手法（具体的名称は要旨に記載なし）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Tang, Guankun Wang, Long Bai, Huxin Gao, Jiewen Lai, Chi Kit Ng, Jiazheng Wang, Fan Zhang, Hongliang Ren

分類: cs.RO

原文アブストラクト

Language-guided grasping has emerged as a promising paradigm for enabling robots to identify and manipulate target objects through natural language instructions, yet it remains highly challenging in cluttered or occluded scenes. Existing methods often rely on multi-stage pipelines that separate object perception and grasping, which leads to limited cross-modal fusion, redundant computation, and poor generalization in cluttered, occluded, or low-texture scenes. To address these limitations, we propose GeoLanG, an end-to-end multi-task framework built upon the CLIP architecture that unifies visual and linguistic inputs into a shared representation space for robust semantic alignment and improved generalization. To enhance target discrimination under occlusion and low-texture conditions, we explore a more effective use of depth information through the Depth-guided Geometric Module (DGGM), which converts depth into explicit geometric priors and injects them into the attention mechanism without additional computational overhead. In addition, we propose Adaptive Dense Channel Integration, which adaptively balances the contributions of multi-layer features to produce more discriminative and generalizable visual representations. Extensive experiments on the OCID-VLG dataset, as well as in both simulation and real-world hardware, demonstrate that GeoLanG enables precise and robust language-guided grasping in complex, cluttered environments, paving the way toward more reliable multimodal robotic manipulation in real-world human-centric settings.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →