日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.07866

部分観測下での言語誘導把持:現場点検・保守における移動操作のための手法

Language-Guided Grasping under Partial Observation for Mobile Manipulation in Field Inspection and Maintenance

シェア:XThreadsFacebookLINEはてブBluesky

脚式移動マニピュレータが部分観測下で言語指示に基づき物体を把持するパイプラインを提案し、現場の点検・保守シナリオで成功率を向上させた。

詳しい要約

1. どんなもの?

- 脚式移動マニピュレータによる言語誘導把持パイプラインを提案。 - 部分観測下でのフィールド点検・保守を想定。 - オペレータが対象を指定し、RGB画像でopen-vocabulary detectionとpromptable segmentationにより対象をグラウンディング。 - 対象中心のRGB-D点群を抽出し、depth compensationとpoint-cloud completionで疎な形状を改善。 - 衝突・クリアランス・到達性・アプローチ制約を考慮した6-DoF把持を選択。 - 四脚ロボット+アームに実装し、散らかった卓上シーンで評価。

2. 先行研究と比べてどこがすごい?

- 従来のview-dependentなベースラインと比較して、把持成功率が3/10から9/10へ大幅に向上。 - 部分観測下での言語誘導把持において、object-centric completionとexecution-aware selectionがアプローチ衝突を減らし信頼性を改善。 - フィールド点検・保守の小物体回収という実タスクに焦点を当てた点が新しい。

3. 技術・手法の肝は?

- open-vocabulary detectionとpromptable segmentationによる言語グラウンディング。 - 対象中心のRGB-D点群抽出。 - depth compensationとpoint-cloud completionによる疎幾何の改善。 - 衝突・クリアランス・到達性・アプローチ制約を考慮した6-DoF把持選択。 - 四脚ロボット+アームへの実装。

4. どうやって有効だと検証した?

- 点検・保守中の小物体回収を模した2つの散らかった卓上シーンで評価。 - ペア試行において、提案パイプラインは9/10の把持成功、view-dependentベースラインは3/10。 - この制御された設定で、object-centric completionとexecution-aware selectionがアプローチ衝突を減らし、言語誘導把持の信頼性を向上させることを確認。

5. 議論はある?

- 制御された設定での結果であり、フィールド環境への一般化には更なる検証が必要。 - 部分観測下での把持性能は向上したが、他のタスクや物体への適用可能性は要旨からは不明。 - オペレータの監督下での操作を想定しており、完全自律性については言及なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究はview-dependent deployment baselineのみ。 - 関連手法としてopen-vocabulary detection、promptable segmentation、point-cloud completion、6-DoF grasp selectionに関する論文が挙げられる。 - 同分野の定番として、language-guided graspingやmobile manipulationに関する研究を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dilermando Almeida, Juliano Negri, Guilherme Lazzarini, Thiago H. Segreto, Ranulfo Bezerra, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

分類: cs.RO, cs.LG, cs.SY, eess.SY

原文アブストラクト

Offshore inspection and maintenance have increasingly been using legged robots for routine sensing, yet many useful interventions still require physical interaction with tools, containers, and task-relevant objects. Employing robots for these tasks can reduce operators' exposure in confined, elevated, or potentially explosive areas. This paper presents a language-guided grasping pipeline for a legged mobile manipulator operating under partial observation. An operator defines the target, the system grounds it in RGB with open-vocabulary detection and promptable segmentation, extracts an object-centric RGB-D point cloud, improves sparse geometry through depth compensation and point-cloud completion, and selects a 6-DoF grasp using collision, clearance, reachability, and approach constraints. The system is implemented on a quadruped robot with an arm and evaluated in two cluttered tabletop scenes motivated by small-object retrieval during inspection and maintenance. Across paired trials, the proposed pipeline achieved 9/10 successful grasps, compared with 3/10 for a view-dependent deployment baseline. In this controlled setting, object-centric completion and execution-aware selection reduced approach collisions and improved the reliability of language-guided grasping for supervised field manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI