日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

位置推定arXiv:2601.09107

惑星探査の地空ロボットチーム向けドメイン汎化クロスビュー位置推定のための視覚基盤モデル

Vision Foundation Models for Domain Generalisable Cross-View Localisation in Planetary Ground-Aerial Robotic Teams

シェア:XThreadsFacebookLINEはてブBluesky

視覚基盤モデルによるセマンティックセグメンテーションと大量の合成データを活用し、地上ローバーが限られた視野の単眼RGB画像から航空マップ上で自己位置を推定するクロスビュー二重エンコーダ手法を提案。実世界の探査アナログ施設で取得したデータセットも公開した。

詳しい要約

1. どんなもの?

- 惑星探査ロボティクスにおいて、地上・航空ロボットチームのためのクロスビュー位置推定手法を提案。 - 限られた視野の単眼地上RGB画像を入力とし、航空マップ上でローバーが自己位置を推定する。 - 機械学習を用いるが、実空間の地上真値付きデータが乏しい問題に対処。 - 視覚基盤モデルによるセマンティックセグメンテーションと大量の合成データを活用し、実画像へのドメインギャップを橋渡し。 - 実世界のローバー軌道と対応する地上真値位置データを含む新しいクロスビューデータセット、および類似の合成画像ペアの大量データセットを提供。 - クロスビューネットワークとパーティクルフィルタを組み合わせ、地上視画像系列から正確な位置推定を実現。

2. 先行研究と比べてどこがすごい?

- 従来の機械学習手法は、実空間の地上真値付きデータが乏しいため、惑星探査での適用が困難であった。 - 本研究では、視覚基盤モデルによるセマンティックセグメンテーションと大量の合成データを活用し、実画像へのドメインギャップを橋渡しする新手法を提案。 - これにより、実データ不足を克服し、クロスビュー位置推定を可能にした点が先行研究と比べて優れている。 - また、実世界のローバー軌道と地上真値位置データを含む新しいクロスビューデータセットを提供し、今後の研究基盤を築いた。

3. 技術・手法の肝は?

- クロスビュー位置推定のためのデュアルエンコーダ深層ニューラルネットワークを提案。 - 視覚基盤モデルを用いたセマンティックセグメンテーションを活用し、地上視画像と航空マップの特徴を抽出。 - 大量の合成データを用いてネットワークを訓練し、実画像へのドメインギャップを橋渡し。 - パーティクルフィルタを状態推定に用い、地上視画像系列からローバーの位置を推定。 - これにより、単純および複雑な軌道での正確な位置推定を実現。

4. どうやって有効だと検証した?

- 実世界のローバー軌道と対応する地上真値位置データを含む新しいクロスビューデータセットを惑星アナログ施設で取得。 - 同様の合成画像ペアの大量データセットも作成。 - これらのデータセットを用いて、提案手法が単純および複雑な軌道で正確な位置推定を達成することを検証。 - パーティクルフィルタとクロスビューネットワークの組み合わせにより、地上視画像系列からの位置推定精度を評価。

5. 議論はある?

- 実空間データの不足を合成データと視覚基盤モデルで補うアプローチの有効性が示唆される。 - ドメインギャップの橋渡しにおけるセマンティックセグメンテーションの役割が重要。 - パーティクルフィルタを用いた状態推定の精度とロバスト性が議論の対象。 - 惑星探査における地上・航空ロボットチームの実現に向けた課題や将来展望が考えられるが、要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、クロスビュー位置推定、視覚基盤モデル、セマンティックセグメンテーション、パーティクルフィルタ、ドメイン適応に関する論文が挙げられる。 - 同分野の定番として、Ingenuity helicopterや惑星オービターの研究、および惑星アナログ施設でのデータセットを扱った研究が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lachlan Holden, Feras Dayoub, Alberto Candela, David Harvey, Tat-Jun Chin

分類: cs.CV, cs.RO

原文アブストラクト

Accurate localisation in planetary robotics enables the advanced autonomy required to support the increased scale and scope of future missions. The successes of the Ingenuity helicopter and multiple planetary orbiters lay the groundwork for future missions that use ground-aerial robotic teams. In this paper, we consider rovers using machine learning to localise themselves in a local aerial map using limited field-of-view monocular ground-view RGB images as input. A key consideration for machine learning methods is that real space data with ground-truth position labels suitable for training is scarce. In this work, we propose a novel method of localising rovers in an aerial map using cross-view-localising dual-encoder deep neural networks. We leverage semantic segmentation with vision foundation models and high volume synthetic data to bridge the domain gap to real images. We also contribute a new cross-view dataset of real-world rover trajectories with corresponding ground-truth localisation data captured in a planetary analogue facility, plus a high volume dataset of analogous synthetic image pairs. Using particle filters for state estimation with the cross-view networks allows accurate position estimation over simple and complex trajectories based on sequences of ground-view images.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI