日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
視覚言語ナビゲーションarXiv:2603.09259

Web動画からの暗黙的幾何表現を用いた視覚言語ナビゲーション

Implicit Geometry Representations for Vision-and-Language Navigation from Web Videos

シェア:XThreadsFacebookLINEはてブBluesky

Web上の部屋ツアー動画から大規模な指示データを構築し、RGBフレームから直接空間情報を抽出する暗黙的幾何表現を導入することで、3D再構成に頼らずにVLNエージェントの学習を可能にした。複数のベンチマークで最先端性能を達成し、ゼロショットナビゲーションも実現した。

詳しい要約

1. どんなもの？

- ウェブ上のルームツアー動画から構築した大規模なvideo-instructionフレームワークを提案するVLN研究。 - 多様で現実的な屋内環境における人間の歩行デモンストレーションからエージェントが学習可能。 - 既存データセットと異なり、open-ended description-enriched trajectoriesとaction-enriched trajectoriesを3D再構成して統合。 - 暗黙的幾何表現を導入し、RGBフレームから直接空間的手がかりを抽出。 - 複数のVLNベンチマークで新たなstate-of-the-art性能とzero-shotナビゲーションエージェントの開発を実現。

2. 先行研究と比べてどこがすごい？

- 従来のVLNはシミュレータでキュレーションされたデータセットに依存し、多様性とスケーラビリティが限定的。 - 既存データセットは現実世界環境の複雑さを捉えきれない。 - 本フレームワークはウェブ動画を活用し、多様で現実的な屋内設定をカバー。 - 既存データセットと異なり、open-ended description-enriched trajectoriesとaction-enriched trajectoriesを3D再構成して統合し、より豊富な空間・意味監督を提供。 - 暗黙的幾何表現により、脆弱な3D再構成を必要とせず、データ利用率を大幅に改善し、再構成失敗を軽減し、以前は使用不能だった大規模動画データを活用可能に。

3. 技術・手法の肝は？

- ウェブベースのルームツアー動画から大規模なvideo-instructionフレームワークを構築。 - open-ended description-enriched trajectoriesとaction-enriched trajectoriesを3D再構成して統合。 - 暗黙的幾何表現を導入し、RGBフレームから直接空間的手がかりを抽出。 - これにより脆弱な3D再構成を回避し、データ利用率を向上。 - 複数のVLNベンチマークで評価し、zero-shotナビゲーションエージェントの開発を可能に。

4. どうやって有効だと検証した？

- 複数のVLNベンチマーク（CVDN, SOON, R2R, REVERIE）で包括的な実験を実施。 - 本手法が新たなstate-of-the-art性能を達成することを示した。 - さらに、堅牢なzero-shotナビゲーションエージェントの開発を可能にすることを実証。 - 大規模ウェブ動画と暗黙的空間推論を橋渡しすることで、embodied navigationのスケーラビリティ、一般化、実世界適用性を前進させる。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- CVDN, SOON, R2R, REVERIEの各ベンチマークに関する論文。 - 暗黙的幾何表現や3D再構成を用いたVLN研究。 - ウェブ動画を活用したembodied navigation研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingfei Han, Haihong Hao, Liang Ma, Kamila Zhumakhanova, Ekaterina Radionova, Jingyi Zhang, Xiaojun Chang, Xiaodan Liang, Ivan Laptev

分類: cs.CV, cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) has long been constrained by the limited diversity and scalability of simulator-curated datasets, which fail to capture the complexity of real-world environments. To overcome this limitation, we introduce a large-scale video-instruction framework derived from web-based room tour videos, enabling agents to learn from natural human walking demonstrations in diverse, realistic indoor settings. Unlike existing datasets, our framework integrates both open-ended description-enriched trajectories and action-enriched trajectories reconstructed in 3D, providing richer spatial and semantic supervision. A key extension in this work is the incorporation of implicit geometry representations, which extract spatial cues directly from RGB frames without requiring fragile 3D reconstruction. This approach substantially improves data utilization, alleviates reconstruction failures, and unlocks large portions of previously unusable video data. Comprehensive experiments across multiple VLN benchmarks (CVDN, SOON, R2R, and REVERIE) demonstrate that our method not only sets new state-of-the-art performance but also enables the development of robust zero-shot navigation agents. By bridging large-scale web videos with implicit spatial reasoning, this work advances embodied navigation towards more scalable, generalizable, and real-world applicable solutions.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →