日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2605.11762

NavOL: オンライン模倣学習によるナビゲーションポリシー

NavOL: Navigation Policy with Online Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

シミュレータとオンラインで対話し、専門家のデモを収集して自己更新するオンライン模倣学習パラダイムを提案し、分布シフトや報酬設計の問題を軽減したナビゲーションポリシーを学習する。

詳しい要約

1. どんなもの?

- ロボティクスにおける頑健なナビゲーション政策の学習手法「NavOL」を提案。 - オンライン模倣学習パラダイムで、シミュレータと対話しながらオンラインで収集した専門家デモンストレーションを用いて自己更新する。 - 事前学習されたナビゲーション拡散政策(navigation diffusion policy)を基盤とし、局所観測から将来のウェイポイントをマッピングする。 - ロールアウト更新ループで訓練:ロールアウト中に政策がシミュレータで行動し、グローバルプランナーに問い合わせて最適経路セグメントをグラウンドトゥルース軌道ラベルとして取得。更新中にオンライン収集した観測軌道ペアで政策を訓練。 - IsaacLab上に構築され、高速・高忠実度並列レンダリングとカメラ姿勢・開始-目標ペアのドメインランダム化を活用。8台のRTX 4090 GPUで50シーンにわたりスケールし、1時間あたり2,000以上の新規軌道を収集(各平均400ステップ以上)。 - 屋内視覚ナビゲーションのベンチマークも導入し、ゼロショット汎化を評価。

2. 先行研究と比べてどこがすごい?

- オフライン模倣学習は分布シフトとロールアウト時の累積誤差に悩まされるが、NavOLはオンライン模倣学習により分布シフトを緩和。 - 強化学習は報酬設計が必要で学習効率が悪いが、NavOLは報酬設計不要で学習効率を改善。 - オンライン模倣ループにより、政策自身が探索したロールアウトで訓練するため、分布シフトを軽減。 - 従来のオフライン模倣学習や強化学習と比較して、学習効率と性能の一貫した向上を示す。

3. 技術・手法の肝は?

- 事前学習されたナビゲーション拡散政策(navigation diffusion policy)を基盤とし、局所観測から将来のウェイポイントを予測。 - ロールアウト更新ループ:ロールアウト中に政策がシミュレータで行動し、グローバルプランナー(グローバル環境への特権アクセスを持つ)に問い合わせて最適経路セグメントをグラウンドトゥルース軌道ラベルとして取得。 - 更新中にオンライン収集した観測軌道ペアで政策を訓練。 - IsaacLab上で高速・高忠実度並列レンダリングとドメインランダム化(カメラ姿勢、開始-目標ペア)を実装。 - 8台のRTX 4090 GPUで50シーンにスケールし、1時間あたり2,000以上の軌道を収集。

4. どうやって有効だと検証した?

- シミュレーションベンチマーク(NavDPベンチマークおよび提案する屋内視覚ナビゲーションベンチマーク)での広範な評価。 - 実世界実験も慎重に設計して実施。 - オンライン模倣学習における一貫した性能向上を実証。 - ゼロショット汎化性能を評価。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- NavDPベンチマーク(要旨で参照) - ナビゲーション拡散政策(navigation diffusion policy) - オフライン模倣学習 - 強化学習 - IsaacLab

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaofei Wei, Chun Gu, Li Zhang

分類: cs.RO

原文アブストラクト

Learning robust navigation policies remains a core challenge in robotics. Offline imitation learning suffers from distribution shift and compounding errors at rollout, while reinforcement learning requires reward engineering and learns inefficiently. In this paper, we propose NavOL, an online imitation learning paradigm that interacts with a simulator and updates itself using expert demonstrations gathered online. Built upon a pretrained navigation diffusion policy that maps local observations to future waypoints, NavOL trains in a rollout update loop: during rollout, the policy acts in the simulator and queries a global planner which has privileged access to the global environment for the optimal path segment as ground truth trajectory labels; during update, the policy is trained on the online collected observation trajectory pairs. This online imitation loop removes the need for reward design, improves learning efficiency, and mitigates distribution shift by training on the policy own explored rollouts. Built on IsaacLab with fast, high-fidelity parallel rendering and domain randomization of camera pose and start-goal pairs, our system scales across 50 scenes on 8 RTX 4090 GPUs, collecting over 2,000 new trajectories per hour, each averaging more than 400 steps. We also introduce an indoor visual navigation benchmark with predefined start and goal positions for zero-shot generalization. Extensive evaluations on simulation benchmarks, including the NavDP benchmark and our proposed benchmark, as well as carefully designed real-world experiments, demonstrate the effectiveness of NavOL, showing consistent performance gains in online imitation learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI