日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚ナビゲーションarXiv:2602.18803

画像空間での参照軌道位置推定による視覚ナビゲーション

Learning to Localize Reference Trajectories in Image-Space for Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

参照RGB軌道をロボットの現在の視界に位置合わせすることで、カメラキャリブレーションやロボット固有の学習なしに、機体に依存しない画像空間ガイダンスを提供する視覚ナビゲーションモデルLoTISを提案。

詳しい要約

1. どんなもの?

- 視覚ナビゲーションのためのモデル「LoTIS」を提案。 - 参照RGB軌跡をロボットの現在の視界にローカライズし、ロボット非依存の画像空間ガイダンスを提供。 - カメラキャリブレーション、ポーズ、ロボット固有のトレーニングを必要としない。 - 特定のロボットに紐づく行動を予測する代わりに、参照軌跡が現在の視界にどのように現れるかの画像空間座標を予測。 - これにより、ローカルプランニングと容易に統合できるロボット非依存の視覚ガイダンスを実現。 - 多様なエンボディメントに対してゼロショットでガイダンスを提供。

2. 先行研究と比べてどこがすごい?

- 従来の手法と比較して、通常の前進ナビゲーションの成功率で20-50パーセントポイント上回る。 - 多様なシミュレーションおよび実環境で94-98%の成功率を達成。 - 後退走行などの挑戦的なタスクでは、ベースラインが失敗する中で5倍以上の改善を達成。 - 知覚と行動を分離し、行動優先を模倣するのではなく軌跡点をローカライズすることを学習することで、視点やカメラの変化に対するロバスト性のためのクロス軌跡トレーニング戦略を可能に。

3. 技術・手法の肝は?

- 参照RGB軌跡をロボットの現在の視界にローカライズするモデル。 - 画像空間座標を予測し、ロボット非依存の視覚ガイダンスを生成。 - 知覚と行動を分離し、軌跡点のローカライズを学習。 - クロス軌跡トレーニング戦略を採用し、視点やカメラの変化に対するロバスト性を実現。 - ローカルプランニングと統合可能。

4. どうやって有効だと検証した?

- 通常の前進ナビゲーションにおいて、成功率で20-50パーセントポイントの改善を達成。 - 多様なシミュレーションおよび実環境で94-98%の成功率を達成。 - 後退走行などの挑戦的なタスクで、ベースラインと比較して5倍以上の改善を達成。 - スマートフォンのカメラからのビデオが、異なるロボットを軌跡上の任意の点にナビゲートさせることを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明記されていない。 - 同分野の定番として、Visual Navigation、Imitation Learning、Trajectory Localization などの一般的な手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Finn Lukas Busch, Matti Vahs, Quantao Yang, Jesús Gerardo Ortega Peimbert, Yixi Cai, Jana Tumova, Olov Andersson

分類: cs.RO

原文アブストラクト

We present LoTIS, a model for visual navigation that provides robot-agnostic image-space guidance by localizing a reference RGB trajectory in the robot's current view, without requiring camera calibration, poses, or robot-specific training. Instead of predicting actions tied to specific robots, we predict the image-space coordinates of the reference trajectory as they would appear in the robot's current view. This creates robot-agnostic visual guidance that easily integrates with local planning. Consequently, our model's predictions provide guidance zero-shot across diverse embodiments. By decoupling perception from action and learning to localize trajectory points rather than imitate behavioral priors, we enable a cross-trajectory training strategy for robustness to viewpoint and camera changes. We outperform state-of-the-art methods by 20-50 percentage points in success rate on conventional forward navigation, achieving 94-98% success rate across diverse sim and real environments. Furthermore, we achieve over 5x improvements on challenging tasks where baselines fail, such as backward traversal. The system is straightforward to use: we show how even a video from a phone camera directly enables different robots to navigate to any point on the trajectory. Videos, demo, and code are available at https://finnbusch.com/lotis.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI