日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2512.07976

VLD: 強化学習ナビゲーションのための視覚言語ゴール距離

VLD: Visual Language Goal Distance for Reinforcement Learning Navigation

シェア:XThreadsFacebookLINEはてブBluesky

インターネット規模の動画で自己教師あり学習した目標までの距離予測器と、シミュレーションで訓練した強化学習方策を組み合わせ、画像・テキスト両方のゴール指定に対応するナビゲーション手法を提案。

詳しい要約

1. どんなもの?

- ロボットナビゲーションのための end-to-end 方策学習の困難さ(sim-to-real gap、行動ラベル付きデータの不足)に対処する枠組み - Vision-Language Distance (VLD) learning と呼ぶ、goal-conditioned navigation のためのスケーラブルなフレームワーク - 知覚学習と方策学習を分離(decouple)する設計 - インターネット規模の動画データで自己教師ありの distance-to-goal 予測器を学習 - 画像ゴールとテキストゴールの両方に汎化する距離信号を提供 - RL 方策はシミュレーション内で privileged な幾何学的距離信号を用いて学習 - 展開時は VLD 予測を入力としてナビゲーション行動を生成

2. 先行研究と比べてどこがすごい?

- 既存手法は方策転移時の sim-to-real gap や行動ラベル付き訓練データの限定に悩む - VLD は知覚学習と方策学習を分離し、方策学習に生のセンサ入力を使わない - 大規模動画による自己教師あり学習で画像・テキスト両ゴールに汎化する距離予測器を得る - 方策はシミュレーション内で privileged な幾何学的距離で学習でき、ノイズ注入で予測器の不確実性を模擬 - 展開時に VLD 予測を消費することで、大規模視覚学習から意味的ゴール情報(どこへ行くか)を継承しつつ、シミュレーションで学んだ堅牢な低レベル行動を保持 - ordinal consistency で距離関数を直接評価し、ViNT や VIP などの prior temporal distance 手法より VLD が優れると報告

3. 技術・手法の肝は?

- 知覚学習と方策学習を分離する decoupled 設計が肝 - 第一段階:インターネット規模の動画データで自己教師あり distance-to-goal 予測器を学習 - 予測器は画像ベースおよびテキストベースのゴールに汎化する距離信号を出力 - 第二段階:RL 方策をシミュレーション内で privileged な幾何学的距離信号を用いて学習 - 学習時にノイズを注入し、学習済み距離予測器の不確実性を模擬 - 展開時は方策が VLD 予測を入力として受け取り、意味的ゴール情報とシミュレーション由来の低レベルナビゲーション行動を組み合わせる - 距離関数の評価に ordinal consistency を提案

4. どうやって有効だと検証した?

- ordinal consistency を用いて距離関数を直接評価 - VLD が ViNT や VIP などの prior temporal distance 手法を上回ることを示す - シミュレーションで競争力のあるナビゲーション性能を達成 - 強い sim-to-real transfer を示す実験結果を報告 - 詳細な実験設定・データセット・指標の数値は要旨からは不明

5. 議論はある?

- 分離設計により、信頼性が高くマルチモーダルなナビゲーション方策への代替かつスケーラブルな道筋を提示 - 大規模視覚学習から「どこへ行くか」の意味情報を継承し、シミュレーションで堅牢な低レベル行動を保持する点を主張 - 限界・失敗事例・計算コスト・実機での詳細な議論は要旨からは不明 - 距離予測器の不確実性をノイズ注入で模擬する設計の妥当性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- ViNT(prior temporal distance 手法として比較) - VIP(prior temporal distance 手法として比較) - goal-conditioned navigation における temporal distance 学習の関連研究 - 自己教師あり distance-to-goal 予測に関する研究 - sim-to-real transfer を用いた RL ナビゲーション方策の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lazar Milikic, Manthan Patel, Jonas Frey

分類: cs.RO, cs.CV

原文アブストラクト

Training end-to-end policies from image data to directly predict navigation actions for robotic systems has proven inherently difficult. Existing approaches often suffer from either the sim-to-real gap during policy transfer or a limited amount of training data with action labels. To address this problem, we introduce Vision-Language Distance (VLD) learning, a scalable framework for goal-conditioned navigation that decouples perception learning from policy learning. Instead of relying on raw sensory inputs during policy training, we first train a self-supervised distance-to-goal predictor on internet-scale video data. This predictor generalizes across both image- and text-based goals, providing a distance signal that can be minimized by a reinforcement learning (RL) policy. The RL policy can be trained entirely in simulation using privileged geometric distance signals, with injected noise to mimic the uncertainty of the trained distance predictor. At deployment, the policy consumes VLD predictions, inheriting semantic goal information-"where to go"-from large-scale visual training while retaining the robust low-level navigation behaviors learned in simulation. We propose using ordinal consistency to assess distance functions directly and demonstrate that VLD outperforms prior temporal distance approaches, such as ViNT and VIP. Experiments show that our decoupled design achieves competitive navigation performance in simulation with strong sim-to-real transfer, providing an alternative and, most importantly, scalable path toward reliable, multimodal navigation policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI