日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2609.22925

親愛なるLLaVA、運転して:閉ループロボット制御のための深度認識視覚言語エージェント

"Dear LLaVA, Please Drive": A Depth-Aware Vision-Language Agent for Closed-Loop Robotic Control

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み視覚言語モデルを、ラベル付き軌道データなしで微分可能な幾何学的コスト場に基づいて微調整し、ステレオ深度から衝突のない経路を生成するナビゲーション手法を提案。

詳しい要約

1. どんなもの?

- 自然言語指示に基づく移動ロボットの閉ループ制御のための、depth-awareなVision-Language Agent(VLMベース)を提案する研究。 - 事前学習済みVLMをパラメータ効率的にfine-tuneし、ステレオdepth観測のみから衝突回避経路を生成する。 - 意味的目標選択から低レベル軌道計画までを単一のend-to-endパイプラインで統合する。

2. 先行研究と比べてどこがすごい?

- 既存のナビゲーション枠組みは模倣学習に依存し、大量のラベル付き軌道データを必要とするため、スケーラビリティと頑健性に限界がある。 - 本研究はラベル付き軌道ではなく、微分可能な幾何コスト場に対して最適化するImperative Learningを採用し、軌道データ不要で学習する。 - 総パラメータの1%未満の更新で、未見環境において競争力のあるSPLを達成する点が優位。

3. 技術・手法の肝は?

- 事前学習済みVLMをベースに、タスク固有のLow-Rank Adaptation (LoRA)モジュールを共有バックボーンに組み込む。 - Imperative Learningパラダイムにより、微分可能な幾何コスト場を目的関数として最適化し、衝突のない経路をステレオdepthから直接学習する。 - 自然言語指示から意味的目標を選択し、低レベル軌道計画までをend-to-endで実行する統合パイプラインを構築する。

4. どうやって有効だと検証した?

- 未見環境においてSuccess weighted by Path Length (SPL)を評価し、競争力のある性能を確認。 - 実世界での定性実験により、実データでのfine-tuningなしにsim-to-real汎化と安定した経路計画を検証。 - パラメータ更新量が総パラメータの1%未満であることも報告。

5. 議論はある?

- 大規模なラベル付き軌道データへの依存を排除し、VLMベースエージェントを移動ロボットに実用的に展開する道を示す。 - 高レベル意味ナビゲーションを実現しつつ、パラメータ効率が高い点が議論の焦点。 - 定量的な限界や失敗事例、計算コスト、リアルタイム性などの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として、Vision-Language Models (VLMs)、Low-Rank Adaptation (LoRA)、Imperative Learning、imitation learningベースのナビゲーション、Success weighted by Path Length (SPL)を用いる研究が次に読むべき候補。 - 同分野の定番として、Vision-and-Language Navigation (VLN)やCLIP、LLaVAなどのVLMベースナビゲーション研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sebastian Berger, Katharina Winter, Fabian B. Flohr

分類: cs.RO

原文アブストラクト

Vision-language models (VLMs) provide a compelling foundation for reasoning-driven mobile navigation, offering rich contextual understanding and strong generalization from large-scale pretraining. Most existing navigation frameworks rely on imitation learning and therefore require substantial labeled trajectory data, limiting their scalability and robustness. In this work, we propose a parameter-efficient approach to fine-tune a pretrained VLM for autonomous navigation using an Imperative Learning paradigm. By optimizing against differentiable geometric cost fields rather than labeled trajectories, our model learns to generate collision-free paths exclusively from stereoscopic depth observations. We introduce a unified end-to-end navigation pipeline for natural-language-driven robotic control. This system leverages a shared VLM backbone with task-specific Low-Rank Adaptation (LoRA) modules, effectively bridging the gap from semantic target selection to low-level trajectory planning. Our approach achieves competitive Success weighted by Path Length (SPL) in unseen environments while updating less than 1% of the model's total parameters. Qualitative real-world experiments validate sim-to-real generalization and stable path planning without fine-tuning on real-world data. These results highlight a practical approach for deploying VLM-based agents on mobile robots, enabling high-level semantic navigation without the prohibitive requirement for large-scale, labeled trajectory data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI