日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚言語ナビゲーションarXiv:2610.25687

視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し

Revealing and Bridging the Physical Executability Gap in Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

既存のVLNシミュレータの緩い接触モデルが物理的に不可能な行動を隠す問題を指摘し、指示条件付き軌道の実行可能性を予測・選択するVeSTAフレームワークで衝突失敗を削減する。

詳しい要約

1. どんなもの?

- 連続空間の vision-and-language navigation (VLN) における『物理実行可能性ギャップ』を提示し、それを埋める枠組み Visual-Semantic Traversability Alignment (VeSTA) を提案する研究。 - 現行 simulator の緩い contact model が物理的に不可能な行動を隠し、goal-reaching success が実体化能力を反映しない可能性を示す。 - 指示条件付き軌道が意味的に妥当・幾何学的に実行可能・物理的に頑健であることを visual-semantic traversability と定義し、policy を実行可能な未来に整合させる。 - R2R と RxR で評価し、実ロボット実験も行う。

2. 先行研究と比べてどこがすごい?

- 従来の連続 VLN 評価は goal-reaching success を実体化能力の指標とみなしてきたが、本論文はその前提が崩れ得ることを示す点が新しい。 - 現行 simulator の permissive な contact model が物理的に実行不能な行動を覆い隠す『physical executability gap』を明示的に定式化。 - 意味的能力と身体的実現の乖離を、strict-contact 評価と学習の両面から扱う点が先行研究と異なる。 - 具体的な比較対象の研究名は要旨からは不明。

3. 技術・手法の肝は?

- VeSTA は『軌道生成における実行可能 support の改善』と『多モーダル未来の risk-aware 選択』の二機構で整合を図る。 - Trajectory Relative Group Policy Optimization: strict-contact feedback を用いて候補分布を実行可能領域へ再形成する。 - Traversability Risk Critic: 候補ごとの未来選択のため risk-adjusted な scalar utility を学習する。 - これにより意味的に妥当・幾何学的に feasible・物理的に robust な指示条件付き軌道を予測させる。

4. どうやって有効だと検証した?

- R2R と RxR 上で実験し、既存 VLN agent が simulator の contact semantics に大きく依存することを示す。 - strict-contact 評価下で VeSTA が collision 起因の失敗を大幅に減らしつつ、goal-reaching 性能を維持または改善することを確認。 - 制御された実世界ロボット実験により、学習された選好が simulation を超えて転移する証拠を示す。

5. 議論はある?

- 緩い contact model に基づく従来評価が物理実行可能性を過大評価し得るという評価指標上の問題を提起。 - strict-contact 評価への移行と、実行可能性を考慮した policy 学習の必要性を示唆。 - 実ロボット実験は『制御された』条件であり、一般環境への拡張性や限界については要旨からは不明。 - 他の simulator や contact model への依存性についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。関連手法として Trajectory Relative Group Policy Optimization と Traversability Risk Critic の原典・関連研究を辿る。 - 連続 VLN の代表的手法・benchmark として R2R と RxR を用いる VLN 研究、および contact model を扱う simulator 研究を参照するのが妥当。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gang He, Zhile Cheng, Kepeng Xu, Zhenyang Liu, Yu-Wing Tai

分類: cs.RO

原文アブストラクト

Continuous vision-and-language navigation (VLN) is typically evaluated by goal-reaching success, assuming it reflects an agent's ability to execute language-grounded behavior. We show that this assumption can fail: permissive contact models in current simulators may mask physically infeasible actions, creating a physical executability gap between semantic competence and embodied realization. To bridge this gap, we introduce Visual-Semantic Traversability Alignment (VeSTA), a framework that aligns VLN policies with physically executable futures. We define visual-semantic traversability as the ability to predict instruction-conditioned trajectories that are semantically valid, geometrically feasible, and physically robust. VeSTA addresses this misalignment through two complementary mechanisms: improving executable support in trajectory generation and risk-aware selection among multimodal futures. Specifically, Trajectory Relative Group Policy Optimization uses strict-contact feedback to reshape the candidate distribution toward executable regions, while the Traversability Risk Critic learns a risk-adjusted scalar utility for candidate-wise future selection. Experiments on R2R and RxR reveal substantial dependence of existing VLN agents on simulator contact semantics. Under strict-contact evaluation, VeSTA substantially reduces collision-induced failures while preserving or improving goal-reaching performance, and controlled real-world robot experiments provide evidence that the learned preference transfers beyond simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI