日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2609.32595

RECAST: 視覚言語セマンティクスをロボットナビゲーションのための行動可能なコストマップへ再構築

RECAST: Recasting Vision-Language Semantics into an Actionable Cost Map for Robot Navigation

シェア:XThreadsFacebookLINEはてブBluesky

VLMの推論と視覚基盤モデルの空間グラウンディングを組み合わせ、通行可能性・危険・進行方向・通過可能な隙間の判断を1枚のコストマップに変換してロボットナビゲーションを行う手法。

詳しい要約

1. どんなもの?

- VLMの推論とvision foundation modelの空間groundingを組み合わせたロボットナビゲーションのフレームワークRECASTを提案する。 - ロボットの前方視点画像とユーザー指示から、VLMが場面を分解し、走行可能な面・危険な物体・優先すべき進行方向・通過可能な隙間を判断する。 - vision foundation modelがそれらを画像中にgroundingし、4つの判断を1つのcompactなcost mapに空間的にrecastする。 - このcost mapがtrajectory decoderの条件付けと提案スコアリングに使われ、実行する軌道を選択する。

2. 先行研究と比べてどこがすごい?

- 学習ベースモデルは訓練分布外で破綻し、VLMベース手法は理解はあるが場面にgroundingせず行動と整合しないという課題がある。 - RECASTはVLMのreasoningとvision foundation modelのspatial groundingを組み合わせ、Actionable Cost mapを構築する。 - 最強の先行手法に対し、シミュレーションで成功率13.3ポイント改善、実機quadrupedで31.4ポイント改善した。 - 衝突率もそれぞれ9.6ポイント、14.3ポイント低減し、全手法中最低の衝突率を達成した。

3. 技術・手法の肝は?

- VLMが前方視点画像と指示から、走行可能面・危険物体・優先進行方向・通過可能隙間の4判断を行う。 - vision foundation modelがこれらの面や物体を画像中にgroundingする。 - 4つの判断を1つのcompactなcost mapに空間的にrecastする。 - このcost mapがtrajectory decoderの条件付けと提案スコアリングに使われる。 - VLMの応答がlive sceneに遅れるため、VLMが判断したpivot frameと現在frameの2時点のcost mapを利用する。 - 現在frameではterrainとcollisionのcostを現在画像から再構築する。

4. どうやって有効だと検証した?

- シミュレーションと実機quadrupedで評価した。 - 最強の先行手法に対し成功率がシミュレーションで13.3ポイント、実機で31.4ポイント改善した。 - 衝突率は先行手法比で9.6ポイント、14.3ポイント低減し、全手法中最低の衝突率を達成した。 - 詳細な実験設定やデータセットは要旨からは不明。

5. 議論はある?

- VLMの応答がlive sceneに遅れる問題に対し、pivot frameとcurrent frameの2時点のcost mapを使う設計で対処している。 - 学習ベースモデルの分布外破綻とVLMベース手法のgrounding欠如という課題を動機としている。 - 限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されているのは学習ベースモデル、VLMベースのナビゲーション手法、vision foundation modelである。 - 具体的な論文名は要旨からは不明。 - 同分野の定番としてVLMベースのナビゲーションやvision-language-actionモデル、cost mapベースのtrajectory planningに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Incheol Cho, Jintae Park, Jinkyu Kim, Jungbeom Lee, Jaegul Choo, Seokha Moon

分類: cs.RO, cs.AI

原文アブストラクト

Safe and robust robot navigation across diverse environments requires a high-level understanding of complex scenes and the ability to carry it into stable motion. Recent works tackle this with learning-based models trained at scale and with approaches built on vision-language models (VLMs). However, learning-based models break down outside their training distribution, while VLM-based approaches bring that understanding but rarely ground it in the scene or align the action with it. To address these limitations, we present RECAST, a robot navigation framework that combines the reasoning of a VLM with the spatial grounding of vision foundation models to build an Actionable Cost map. Given the robot's front view and the user's instruction, we first decompose the scene with the VLM, judging which surfaces are traversable, which objects pose a risk, which heading to prefer, and which gaps are passable. Vision foundation models then ground these surfaces and objects in the image, and all four judgments are spatially recast into one compact cost map. This map both conditions the trajectory decoders and scores their proposals to select the one to execute. As the VLM's answers trail the live scene, both steps draw on cost maps from two points in time: the pivot frame the VLM judged, which carries all four judgments, and the current frame, whose terrain and collision costs are rebuilt from the current image. RECAST improves success over the strongest prior method by 13.3 points in simulation and 31.4 points on a real quadruped, and reduces the collision rate relative to it by 9.6 and 14.3 points, reaching the lowest collision rate among all methods. The project page is available at https://recast-nav.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI