日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2605.28237

POINav: 実世界の視覚言語ナビゲーションにおける最終メートル到達のベンチマークと性能向上

POINav: Benchmarking and Enhancing Final-Meters Arrival in Real-World Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

実世界のPOI(関心地点)ゴールナビゲーションのための初のクローズドループ評価ベンチマークPOINav-Benchを構築し、POI推論を行うBrainモジュールと連続ウェイポイント予測を行うActionモジュールからなるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 実世界のナビゲーションはPOI(Point of Interest)が本質的だが、正確なPOI到達は「final-meters」課題として残る。 - 既存のVision-Language Navigation (VLN) ベンチマークはPOIゴールナビの粒度が粗く、生成シーンによるsim-to-realギャップが大きい。 - 本研究では、実世界のPOIゴールナビを閉ループ評価する初のベンチマークPOINav-Benchを提案。 - 11の商業エリアを3D Gaussian Splatting (3DGS)で再構成し、総面積126,398 m²、163のPOIをカバー。 - 走行可能性を考慮したアノテーションと参照軌道を備え、高忠実度評価を可能にする。 - さらに、BrainモジュールがPOIに基づく推論を行い、Actionモジュールが連続ウェイポイントを予測するPOINav Brain-Action Frameworkを提案。 - 70Kの実世界看板-入口ペアを含むPOINav-Datasetも構築。

2. 先行研究と比べてどこがすごい?

- 既存のVLNベンチマークはPOIゴールナビの粒度が粗く、生成シーンによるsim-to-realギャップが大きい。 - POINav-Benchは実世界キャプチャから3DGSで再構成した商業エリアを用いるため、リアルなPOIリッチ環境での高忠実度評価が可能。 - 走行可能性を考慮したアノテーションと参照軌道を提供し、閉ループ評価を実現。 - 実世界の看板-入口ペア70Kを含むPOINav-Datasetを整備し、実世界実行に向けた学習を支援。 - これにより、実世界POIゴールナビの研究を進展させる道を開く。

3. 技術・手法の肝は?

- POINav Brain-Action Framework:BrainモジュールがPOIに基づく推論を行い、Actionモジュールが連続ウェイポイントを予測。 - BrainモジュールはPOIグラウンディング推論を担当し、Actionモジュールは実世界実行のための連続ウェイポイントを出力。 - POINav-Benchは3DGSで再構成された商業エリア、走行可能性アノテーション、参照軌道を含む。 - POINav-Datasetは70Kの実世界看板-入口ペアを提供。 - これらを組み合わせ、実世界POIゴールナビの閉ループ評価と学習を可能にする。

4. どうやって有効だと検証した?

- POINav-Bench上で実験を行い、フレームワークが実世界POIゴールナビの改善に向けた実行可能な道筋を提供することを示した。 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明。 - 閉ループ評価が可能なベンチマークを用いて有効性を検証。

5. 議論はある?

- 実世界POIゴールナビの「final-meters」課題に対し、POINav-BenchとBrain-Action Frameworkが有効なアプローチを提供。 - ただし、限界や課題についての詳細な議論は要旨からは不明。 - sim-to-realギャップの完全な解消や、より多様な環境への一般化などが今後の課題として考えられるが、要旨では明示されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存のVision-Language Navigation (VLN) ベンチマーク(具体的名称は要旨からは不明)。 - 関連手法:3D Gaussian Splatting (3DGS)、POI-goal navigation、Brain-Action Framework。 - 同分野の定番:VLN (Vision-Language Navigation)、REVERIE、R2R、Touchdownなどのベンチマークや、Habitat、AI2-THORなどのシミュレータ。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruiyan Gong, Meisheng Zhang, Yuxiang Zhao, Mingchao Sun, Yanfen Shen, Zedong Chu, Zhining Gu, Wei Guo, Xiaolong Cheng, Qiming Li, Kangning Niu, Yanqing Zhu, Xiaolong Wu, Tianlun Li, Mu Xu

分類: cs.RO, cs.CV

原文アブストラクト

Real-world navigation is fundamentally driven by Points of Interest (POIs), yet reaching a precise POI remains a critical "final-meters" challenge. Existing Vision-Language Navigation (VLN) benchmarks of POI-goal navigation often suffer from coarse granularity or significant sim-to-real gaps due to generated scene. To bridge this gap, we present POINav-Bench, the first benchmark designed for closed-loop evaluation of real-world POI-goal navigation. It comprises 11 commercial areas reconstructed from real-world captures using 3D Gaussian Splatting (3DGS), covering 126,398 $m^{2}$ in total and spanning 163 distinct POIs. With traversability-aware annotations and reference trajectories, POINav-Bench enables high-fidelity evaluation of navigation agents in realistic, POI-rich real-world environments. Building on this, we propose the POINav Brain-Action Framework where a Brain module performs POI-grounded reasoning to guide an Action module in predicting continuous waypoints for real-world execution. We further curate the POINav-Dataset, containing 70K real-world signage-entrance pairs. Experiments show that our framework provides a viable path toward refining real-world POI-goal navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI