日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2506.14507

事前学習済み視覚言語埋め込みだけでロボットナビゲーションは可能か?

Can Pretrained Vision-Language Embeddings Alone Guide Robot Navigation?

シェア:XThreadsFacebookLINEはてブBluesky

凍結した視覚言語モデルの埋め込みのみを用いて模倣学習でナビゲーションポリシーを訓練し、言語指定目標への到達成功率74%を達成したが、長期計画や空間推論に課題があることを示した。

詳しい要約

1. どんなもの?

- 言語指定された目標へのロボットナビゲーションを、frozen な pretrained vision-language embeddings のみで誘導できるかを問う研究。 - 特権的 expert が収集した demonstrations から、frozen VLM embeddings 上で behavior cloning policy を直接学習する minimalist framework を提案。 - 追加の fine-tuning や specialized navigation modules を排した構成で、言語 grounding とナビゲーション性能の実証的 baseline を提示。

2. 先行研究と比べてどこがすごい?

- 多くの先行研究は pretrained VLMs を specialized navigation architectures と組み合わせるのに対し、本論文は specialized modules を排し embeddings 単体の寄与を切り分ける。 - fine-tuning なしの drop-in 表現としての foundation models の能力と限界を、expert との性能差として定量化。 - システム複雑性と性能のトレードオフに関する実践的知見を提供する点が特徴。

3. 技術・手法の肝は?

- 特権的 expert による demonstrations を収集し、frozen な vision-language embeddings を入力として behavior cloning policy を学習。 - 追加の fine-tuning や specialized navigation modules を用いず、embeddings のみで言語指定目標へのナビゲーションを誘導。 - 具体的なモデル名・データセット名・アーキテクチャ詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 言語指定目標へのナビゲーションで 74% の success rate を達成し、state-aware expert の 100% と比較。 - 平均 step 数は expert より 3.2 倍多く必要という定量結果を報告。 - コードは https://github.com/oadamharoon/text2nav で公開。

5. 議論はある?

- pretrained embeddings は基本的な language grounding には有効だが、long-horizon planning と spatial reasoning が苦手であることを性能差が示唆。 - foundation models を embodied tasks の drop-in representations として使う際の能力と限界を議論。 - 資源制約下でのシステム複雑性と性能の設計トレードオフに関する知見を提示。

6. 次に読むべき論文は?

- 要旨で参照/比較されている state-aware expert および behavior cloning 関連研究。 - pretrained vision-language models (VLMs) と specialized navigation architectures を統合する先行ナビゲーション研究。 - long-horizon planning や spatial reasoning を扱う embodied navigation の関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nitesh Subedi, Adam Haroon, Shreyan Ganguly, Samuel T. K. Tetteh, Prajwal Koirala, Cody Fleming, Soumik Sarkar

分類: cs.RO

原文アブストラクト

Foundation models have revolutionized robotics by providing rich semantic representations without task-specific training. While many approaches integrate pretrained vision-language models (VLMs) with specialized navigation architectures, the fundamental question remains: can these pretrained embeddings alone successfully guide navigation without additional fine-tuning or specialized modules? We present a minimalist framework that decouples this question by training a behavior cloning policy directly on frozen vision-language embeddings from demonstrations collected by a privileged expert. Our approach achieves a 74% success rate in navigation to language-specified targets, compared to 100% for the state-aware expert, though requiring 3.2 times more steps on average. This performance gap reveals that pretrained embeddings effectively support basic language grounding but struggle with long-horizon planning and spatial reasoning. By providing this empirical baseline, we highlight both the capabilities and limitations of using foundation models as drop-in representations for embodied tasks, offering critical insights for robotics researchers facing practical design tradeoffs between system complexity and performance in resource-constrained scenarios. Our code is available at https://github.com/oadamharoon/text2nav

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI