日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.05017

視覚言語モデルを用いた直接接触許容型動作計画

Direct Contact-Tolerant Motion Planning With Vision Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを点群認識とナビゲーションに統合し、移動可能な障害物がある環境での接触を許容する動作計画手法を提案した。

詳しい要約

1. どんなもの?

- 混雑環境でのナビゲーションにおいて、移動可能・変形可能な物体との接触を許容する contact-tolerant motion planning (CTMP) を扱う研究。 - 既存の CTMP は事前構築地図や障害物集合などの間接的な空間表現に依存し、不正確さや環境不確実性への適応性欠如が問題。 - これを解決する direct contact-tolerant (DCT) planner を提案。vision-language models (VLMs) を直接的な点知覚とナビゲーションに統合する。 - 構成要素は VLM point cloud partitioner (VPP) と VPP guided navigation (VGN) の2つ。 - Isaac Sim と実車ロボットで実装・検証。

2. 先行研究と比べてどこがすごい?

- 既存 CTMP は prebuilt map や obstacle set といった間接的空間表現を用いるため、不正確さと環境不確実性への非適応性が生じる。 - 提案 DCT は VLM を直接点知覚に統合し、画像空間での contact-tolerance reasoning を行う点で異なる。 - 事前地図に依存せず、直接的な contact-aware point cloud 制約下でナビゲーションを最適化する。 - 移動可能障害物を含む混雑環境で代表的ベースラインを多様な指標で上回る。

3. 技術・手法の肝は?

- VLM point cloud partitioner (VPP): 画像空間で VLM による contact-tolerance reasoning を実行。 - 推論マスクをキャッシュし、odometry を用いてフレーム間で伝播。 - 現在のスキャンに投影して contact-aware point cloud を生成。 - VPP guided navigation (VGN): CTMP を直接的な contact-aware point cloud 制約下の perception-to-control optimization problem として定式化。 - 専用の deep neural network (DNN) で解く。

4. どうやって有効だと検証した?

- Isaac Sim と実車の car-like robot に DCT を実装。 - 移動可能障害物を含む混雑環境で、堅牢かつ効率的なナビゲーションを実現することを示す。 - 多様な指標において代表的ベースラインを上回る性能を確認。 - コードは https://github.com/ChrisLeeUM/DCT で公開。

5. 議論はある?

- 要旨からは不明。 - 明示的な限界、失敗事例、計算コスト、VLM 推論の信頼性、実環境での安全性に関する議論は要旨に記載されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は記載されていない。 - 関連手法として contact-tolerant motion planning (CTMP)、vision-language models (VLMs)、Isaac Sim が挙げられる。 - 同分野の定番として、移動障害物を扱う motion planning、point cloud ベースのナビゲーション、VLM を用いたロボットナビゲーションに関する研究が次に読むべき候補。 - コードリポジトリ https://github.com/ChrisLeeUM/DCT も参照可能。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: He Li, Jian Sun, Chengyang Li, Guoliang Li, Qiyu Ruan, Shuai Wang, Chengzhong Xu

分類: cs.RO

原文アブストラクト

Navigation in cluttered environments often requires robots to tolerate contact with movable or deformable objects to maintain efficiency. Existing contact-tolerant motion planning (CTMP) methods rely on indirect spatial representations (e.g., prebuilt map, obstacle set), resulting in inaccuracies and a lack of adaptiveness to environmental uncertainties. To address this issue, we propose a direct contact-tolerant (DCT) planner, which integrates vision-language models (VLMs) into direct point perception and navigation, including two key components. The first one is VLM point cloud partitioner (VPP), which performs contact-tolerance reasoning in image space using VLM, caches inference masks, propagates them across frames using odometry, and projects them onto the current scan to generate a contact-aware point cloud. The second innovation is VPP guided navigation (VGN), which formulates CTMP as a perception-to-control optimization problem under direct contact-aware point cloud constraints, which is further solved by a specialized deep neural network (DNN). We implement DCT in Isaac Sim and a real car-like robot, demonstrating that DCT achieves robust and efficient navigation in cluttered environments with movable obstacles, outperforming representative baselines across diverse metrics. The code is available at: https://github.com/ChrisLeeUM/DCT.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI