日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.08831

視点変化に頑健な視覚言語ナビゲーションのための視点不変学習

View Invariant Learning for Vision-Language Navigation in Continuous Environments

シェア:XThreadsFacebookLINEはてブBluesky

連続環境における視覚言語ナビゲーション(VLNCE)で、カメラの高さや角度が変化しても性能が落ちにくい視点不変なポストトレーニング手法VILを提案し、R2R-CEとRxR-CEで成功率を8〜15%改善した。

詳しい要約

1. どんなもの?

- Vision-Language Navigation in Continuous Environments (VLNCE) において、カメラの高さや視角の変化(viewpoint changes)に対して頑健なナビゲーションを実現する研究。 - より一般的なシナリオ V$^2$-VLNCE(VLNCE with Varied Viewpoints)を導入。 - 既存のナビゲーションポリシーを視点変化に頑健にする post-training フレームワーク VIL(View Invariant Learning)を提案。 - 実ロボット構成(Stretch RE-1, LoCoBot など)や実環境での proof-of-concept 評価も含む。

2. 先行研究と比べてどこがすごい?

- 既存の VLNCE 手法は viewpoint changes(カメラ高さ・視角の変動)に敏感であるという問題に対し、V$^2$-VLNCE という新設定を定義。 - V$^2$-VLNCE 上で state-of-the-art 手法を Success Rate で 8-15% 上回る。 - 標準 VLNCE 設定でも性能を損なわず、しばしば改善。特に難しい RxR-CE では全指標で state-of-the-art。 - plug-and-play の post-training 手法として使える点が特徴。

3. 技術・手法の肝は?

- contrastive learning により sparse かつ view-invariant な特徴を学習。 - Waypoint Predictor Module に対して teacher-student framework を導入し、view-dependent な teacher から view-invariant な student へ知識蒸留。 - これらのコンポーネントを end-to-end で jointly optimize。 - 既存ポリシーへの post-training として適用可能な構成。

4. どうやって有効だと検証した?

- V$^2$-VLNCE 上で R2R-CE と RxR-CE の 2 つの標準ベンチマークデータセットを用い、Success Rate で 8-15% の改善を確認。 - 標準 VLNCE 設定でも評価し、性能が維持・改善されることを確認。RxR-CE では全指標で state-of-the-art。 - 実ロボット構成(Stretch RE-1, LoCoBot)由来の simulated camera placements で一貫した改善を確認。 - panoramic RGB sensor と LiDAR を用いた 2 つの物理環境での proof-of-concept 実ロボット評価を実施。

5. 議論はある?

- VIL は標準視点性能を損なわず、plug-and-play の post-training として機能し得ると主張。 - 実ロボット構成や実環境評価への拡張性を示唆。 - ただし実ロボット評価は proof-of-concept であり、詳細な限界や失敗事例は要旨からは不明。 - 計算コストや他ポリシーへの汎化性の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される state-of-the-art の VLNCE 手法(R2R-CE / RxR-CE のベースライン)。 - Waypoint Predictor Module を採用する標準的 VLNCE ベースライン。 - contrastive learning や teacher-student distillation を用いた関連研究。 - 実ロボット構成として挙げられている Stretch RE-1 や LoCoBot を用いた embodied AI 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Josh Qixuan Sun, Huaiyuan Weng, Xiaoying Xing, Chul Min Yeum, Mark Crowley

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Vision-Language Navigation in Continuous Environments (VLNCE), where an agent follows instructions and moves freely to reach a destination, is a key research problem in embodied AI. However, most existing approaches are sensitive to viewpoint changes, i.e. variations in camera height and viewing angle. Here we introduce a more general scenario, V$^2$-VLNCE (VLNCE with Varied Viewpoints) and propose a view-invariant post-training framework, called VIL (View Invariant Learning), that makes existing navigation policies more robust to changes in camera viewpoint. VIL employs a contrastive learning framework to learn sparse and view-invariant features. We also introduce a teacher-student framework for the Waypoint Predictor Module, a standard part of VLNCE baselines, where a view-dependent teacher model distills knowledge into a view-invariant student model. We employ an end-to-end training paradigm to jointly optimize these components. Empirical results show that our method outperforms state-of-the-art approaches on V$^2$-VLNCE by 8-15\% measured on Success Rate for two standard benchmark datasets R2R-CE and RxR-CE. Evaluation of VIL in standard VLNCE settings shows that despite being trained for varied viewpoints, VIL often still improves performance. On the harder RxR-CE dataset, our method also achieved state-of-the-art performance across all metrics. This suggests that adding VIL does not diminish the standard viewpoint performance and can serve as a plug-and-play post-training method. We further evaluate VIL for simulated camera placements derived from real robot configurations (e.g. Stretch RE-1, LoCoBot), showing consistent improvements of performance. Finally, we present a proof-of-concept real-robot evaluation in two physical environments using a panoramic RGB sensor combined with LiDAR. The code is available at https://github.com/realjoshqsun/V2-VLNCE.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI