日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2507.22028

見ることから経験することへ:強化学習によるナビゲーション基盤モデルのスケーリング

From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

大規模動画での事前学習とシミュレーションでの強化学習を組み合わせ、都市ナビゲーションにおける対話的で安全な行動を実現するS2Eフレームワークを提案。

詳しい要約

1. どんなもの?

- 大規模なweb-scaleデータで学習したnavigation foundation modelsの能力を、reinforcement learningで拡張する「Seeing-to-Experiencing (S2E)」学習フレームワークの提案。 - offline動画によるpretrainingと、simulation環境でのreinforcement learningによるpost-trainingを組み合わせる。 - 実世界のurban navigationにおけるinteractiveで安全な行動(障害物や歩行者の回避)の獲得を狙う。

2. 先行研究と比べてどこがすごい?

- 従来のnavigation foundation modelsはofflineデータのみで学習され、行動の結果を推論したりcounterfactual理解で適応することが苦手だった。 - S2Eは大規模実世界動画から得たgeneralizabilityを維持しつつ、simulationでのreinforcement learningによりinteractivityを強化する点が新しい。 - 実世界シーン再構成に基づくend-to-end評価benchmark「NavBench-GS」も併せて構築している。

3. 技術・手法の肝は?

- offline pretrainingに「Anchor-Guided Distribution Matching」を導入し、anchor-based supervisionで学習を安定化し多様なmotion patternをモデル化する。 - reinforcement learningには「Residual-Attention Module」を導入し、pretrained knowledgeを消さずにsimulationからreactive behaviorsを獲得する。 - offline動画pretrainingとsimulationでのRL post-trainingを組み合わせる枠組みが肝。

4. どうやって有効だと検証した?

- 実世界シーンのphotorealisticな3D Gaussian Splatting再構成に物理interactionを組み込んだ「NavBench-GS」を構築。 - このbenchmarkでnavigation foundation modelsのgeneralizabilityとsafetyを体系的に評価する。 - 具体的な実験結果・数値は要旨からは不明。

5. 議論はある?

- offlineデータのみのモデルは行動の結果推論やcounterfactual適応に限界があり、実世界urban navigationではinteractive・安全な行動が重要という課題意識が示される。 - simulationでのRLがpretrained knowledgeを損なわないためのResidual-Attention Moduleの設計が議論点。 - 具体的な限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されているoffline動画のみで学習するnavigation foundation models(具体名は要旨からは不明)。 - 関連手法として3D Gaussian Splatting、reinforcement learning、distribution matching、residual attention。 - 同分野の定番としてnavigation foundation models、sim-to-real transfer、urban navigation benchmark。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Honglin He, Yukai Ma, Brad Squicciarini, Wayne Wu, Bolei Zhou

分類: cs.CV, cs.RO

原文アブストラクト

Navigation foundation models trained on massive web-scale data enable agents to generalize across diverse environments and embodiments. However, these models, which are trained solely on offline data, often lack the capacity to reason about the consequences of their actions or adapt through counterfactual understanding. They thus face significant limitations in real-world urban navigation, where interactive and safe behaviors, such as avoiding obstacles and moving pedestrians, are critical. To tackle these challenges, we introduce the Seeing-to-Experiencing (S2E) learning framework to scale the capability of navigation foundation models with reinforcement learning. S2E combines the strengths of pretraining on offline videos and post-training through reinforcement learning. It maintains the model's generalizability acquired from large-scale real-world videos while enhancing its interactivity through reinforcement learning in simulation environments. Specifically, we introduce two innovations: (1) an Anchor-Guided Distribution Matching strategy for offline pretraining, which stabilizes learning and models diverse motion patterns through anchor-based supervision; and (2) a Residual-Attention Module for reinforcement learning, which obtains reactive behaviors from simulation environments without erasing the model's pretrained knowledge. Moreover, we establish a comprehensive end-to-end evaluation benchmark, NavBench-GS, built on photorealistic 3D Gaussian Splatting reconstructions of real-world scenes that incorporate physical interactions. It can systematically assess the generalizability and safety of navigation foundation models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI