日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚ナビゲーションarXiv:2509.09594

ObjectReact: 物体相対制御を学習する視覚ナビゲーション

ObjectReact: Learning Object-Relative Control for Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

単眼カメラとトポロジカルマップを用いた視覚ナビゲーションにおいて、画像相対ではなく物体相対の制御を学習する新手法を提案し、センサ高さの変化に対する頑健性を示した。

詳しい要約

1. どんなもの?

- 単一カメラとtopological mapのみでvisual navigationを行うための新しい制御パラダイム「object-relative control」を提案する研究。 - 従来のimage-relativeな制御推定ではなく、地図の属性であるobjectを基準に制御を学習する。 - 「relative」3D scene graph形式のtopometric map表現と、WayObject Costmapを入力とする局所コントローラObjectReactを提案。 - sim-onlyポリシーが実世界屋内環境へgeneralizeすることを示す。

2. 先行研究と比べてどこがすごい?

- 従来はcurrent observationとsubgoal imageのペアから制御を推定するimage-relative approachが主流。 - image-level表現はagentのposeやembodimentに厳密に依存する限界がある。 - objectはmapの属性でありembodiment-およびtrajectory-invariantな世界表現となる点が優位。 - 利点として(a)prior experienceの模倣を厳密に要求せず新経路を走行可能、(b)制御予測問題をimage matching問題から分離可能、(c)train-testおよびmapping-execution設定の変動に対しcross-embodiment展開で高いinvarianceを達成。

3. 技術・手法の肝は?

- 「relative」3D scene graph形式のtopometric map表現を提案し、より情報量の多いobject-levelのglobal path planning costを得る。 - 高レベルなWayObject Costmap表現に直接conditioningする局所コントローラObjectReactを学習。 - これにより明示的なRGB入力の必要性を排除。 - object-relative controlの学習により、image-relative counterpartと比較した特性を得る設計。

4. どうやって有効だと検証した?

- sensor heightの変動に対する比較で、object-relative controlがimage-relative counterpartより優れることを示す。 - 空間理解能力を試す複数のnavigation task(例: map trajectoryを逆方向に走行)で評価。 - sim-onlyポリシーが実世界屋内環境へ良好にgeneralizeすることを示す。 - 詳細な実験設定・指標は要旨からは不明。

5. 議論はある?

- image-relative approachに対するobject-relative approachの優位性を、sensor height変動や複数タスクで議論。 - cross-embodiment展開におけるinvarianceの達成を主張。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象であるimage-relative approach(visual navigationにおけるimage-relative control)の関連研究。 - topological mapを用いたsingle-camera visual navigationの先行手法。 - 3D scene graphやtopometric map表現に関する研究。 - cross-embodiment navigationやsim-to-real generalizationの関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sourav Garg, Dustin Craggs, Vineeth Bhat, Lachlan Mares, Stefan Podgorski, Madhava Krishna, Feras Dayoub, Ian Reid

分類: cs.RO, cs.AI, cs.CV, cs.LG, cs.SY, eess.SY

原文アブストラクト

Visual navigation using only a single camera and a topological map has recently become an appealing alternative to methods that require additional sensors and 3D maps. This is typically achieved through an "image-relative" approach to estimating control from a given pair of current observation and subgoal image. However, image-level representations of the world have limitations because images are strictly tied to the agent's pose and embodiment. In contrast, objects, being a property of the map, offer an embodiment- and trajectory-invariant world representation. In this work, we present a new paradigm of learning "object-relative" control that exhibits several desirable characteristics: a) new routes can be traversed without strictly requiring to imitate prior experience, b) the control prediction problem can be decoupled from solving the image matching problem, and c) high invariance can be achieved in cross-embodiment deployment for variations across both training-testing and mapping-execution settings. We propose a topometric map representation in the form of a "relative" 3D scene graph, which is used to obtain more informative object-level global path planning costs. We train a local controller, dubbed "ObjectReact", conditioned directly on a high-level "WayObject Costmap" representation that eliminates the need for an explicit RGB input. We demonstrate the advantages of learning object-relative control over its image-relative counterpart across sensor height variations and multiple navigation tasks that challenge the underlying spatial understanding capability, e.g., navigating a map trajectory in the reverse direction. We further show that our sim-only policy is able to generalize well to real-world indoor environments. Code and supplementary material are accessible via project page: https://object-react.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI