日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動マニピュレーションarXiv:2512.11173

単一インスタンスのRGBデモから学ぶカテゴリレベルのラストメートルナビゲーション

Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

シェア:XThreadsFacebookLINEはてブBluesky

四足歩行マニピュレータがRGB画像のみを用いて、カテゴリ内の未知物体に対してマニピュレーション可能な精密位置決めを行う模倣学習フレームワークを提案。

詳しい要約

1. どんなもの?

- 四足歩行型 mobile manipulator が、機載カメラの RGB 観測のみを用いて manipulation 可能な精密位置決め(last-meter navigation)を実現する object-centric imitation learning フレームワーク。 - 入力は goal image、機載カメラの multi-view RGB 観測、対象物体を指定する text prompt の3つ。 - 単一物体インスタンスの実世界データで学習し、カテゴリ内の未見インスタンスへ汎化することを狙う。

2. 先行研究と比べてどこがすごい?

- 既存の RGB ベース navigation は meter 級の粗い精度に留まり、mobile manipulation の精密位置決めには不向きで、manipulation policy の訓練分布外動作を招いていた。 - 本研究は depth・LiDAR・map prior を用いず、RGB のみで last-meter の精密位置決めをカテゴリレベルで達成する点が異なる。 - 単一インスタンスの実世界データから未見インスタンスへ汎化する点が特徴。

3. 技術・手法の肝は?

- navigation policy を goal image・multi-view RGB・text prompt で条件付けする object-centric imitation learning。 - language-driven segmentation module により対象物体の明示的な object grounding を行う。 - spatial score-matrix decoder により相対 pose 推論を行う構成が肝。

4. どうやって有効だと検証した?

- 単一物体インスタンスの実世界データで学習し、多様な環境・厳しい照明・背景条件下の未見物体インスタンスで評価。 - 新たに2指標を導入:ground truth 姿勢を用いる edge-alignment metric と、ロボットが対象にどれだけ視覚的に正対するかを評価する object-alignment metric。 - 未見対象への位置決めで edge-alignment 74.58%、object-alignment 89.42% の成功率を報告。

5. 議論はある?

- depth・LiDAR・map prior なしでカテゴリレベルの精密 last-meter navigation が可能であることを示し、unified mobile manipulation へのスケーラブルな道筋を主張。 - 具体的な限界や失敗要因、議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として RGB-based navigation、imitation learning、language-driven segmentation、mobile manipulation の manipulation policy に関する研究を挙げて次に読むべき。 - 詳細な比較対象は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tzu-Hsien Lee, Fidan Mahmudova, Karthik Desingh

分類: cs.RO

原文アブストラクト

Achieving precise positioning of the mobile manipulator's base is essential for successful manipulation actions that follow. Most of the RGB-based navigation systems only guarantee coarse, meter-level accuracy, making them less suitable for the precise positioning phase of mobile manipulation. This gap prevents manipulation policies from operating within the distribution of their training demonstrations, resulting in frequent execution failures. We address this gap by introducing an object-centric imitation learning framework for last-meter navigation, enabling a quadruped mobile manipulator robot to achieve manipulation-ready positioning using only RGB observations from its onboard cameras. Our method conditions the navigation policy on three inputs: goal images, multi-view RGB observations from the onboard cameras, and a text prompt specifying the target object. A language-driven segmentation module and a spatial score-matrix decoder then supply explicit object grounding and relative pose reasoning. Using real-world data from a single object instance within a category, the system generalizes to unseen object instances across diverse environments with challenging lighting and background conditions. To comprehensively evaluate this, we introduce two metrics: an edge-alignment metric, which uses ground truth orientation, and an object-alignment metric, which evaluates how well the robot visually faces the target. Under these metrics, our policy achieves 74.58% success in edge-alignment and 89.42% success in object-alignment when positioning relative to unseen target objects. These results show that precise last-meter navigation can be achieved at a category-level without depth, LiDAR, or map priors, enabling a scalable pathway toward unified mobile manipulation. Project page: https://rpm-lab-umn.github.io/category-level-last-meter-nav/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI