日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2507.17220

PIG-Nav: 事前学習済み画像ゴールナビゲーションモデルのための重要知見

PIG-Nav: Key Insights for Pretrained Image Goal Navigation Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚ベースのロボットナビゲーションのための事前学習戦略を検討し、早期融合ネットワーク構造と補助タスクの導入、ゲーム動画データセットの効率的なラベリング手法を提案することで、ゼロショットおよびファインチューニング性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- 視覚ベースのロボットナビゲーション向けに、pretrained (foundation) model を活用する PIG-Nav (Pretrained Image-Goal Navigation) を提案する研究。 - 目的は多様な環境への汎化と unseen 設定での zero-shot 性能向上、および positive transfer の実現。 - 貢献は model 設計の知見と dataset 前処理パイプラインの二領域に分かれる。 - 画像ゴールナビゲーション (image-goal navigation) タスクを対象とする。

2. 先行研究と比べてどこがすごい?

- 既存の visual navigation foundation model と比較して、zero-shot 設定で平均 22.6%、fine-tuning 設定で 37.5% の改善を報告。 - 2つの複雑な simulated environment と1つの real-world environment で既存手法を上回り、pretrained image-goal navigation model の state-of-the-art を前進させたと主張。 - 大幅に少ない fine-tuning data でも競争力のある性能を維持し、実世界展開への可能性を示す点が特徴。 - 既存の open navigation dataset に多様な gameplay video を追加すると性能が向上することを示した。

3. 技術・手法の肝は?

- Model 側の設計知見として、(1) 視覚観測と goal image を適切に pretrained した Vision Transformer (ViT) image encoder で early-fusion するネットワーク構造を採用。 - (2) 適切な auxiliary task を導入し、global navigation representation learning を強化してナビゲーション性能を向上。 - Dataset 側では、大規模 game video dataset をナビゲーションモデル学習用に効率的にラベリングする新規 data preprocessing pipeline を提案。 - 既存の open navigation dataset を多様な gameplay video で拡張して学習に用いる。

4. どうやって有効だと検証した?

- 2つの複雑な simulated environment と1つの real-world environment で評価。 - zero-shot 設定と fine-tuning 設定の両方で既存の visual navigation foundation model と比較し、平均改善率 22.6% (zero-shot) と 37.5% (fine-tuning) を報告。 - 既存 open navigation dataset に gameplay video を追加することでモデル性能が向上することを実証。 - 少ない fine-tuning data でも競争力のある性能を維持することを示した。

5. 議論はある?

- 大幅に少ない fine-tuning data で競争力のある性能を維持できる点を、実世界展開における最小限の labeled supervision の可能性として位置づけている。 - early-fusion 構造と auxiliary task が pretrained navigation model の性能を一貫して改善する重要な設計選択であると議論。 - game video dataset の効率的なラベリング pipeline が大規模データ活用に有効であると主張。 - 具体的な限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される既存の visual navigation foundation model 群(具体的名称は要旨からは不明)。 - 関連手法として Vision Transformer (ViT) image encoder を用いた pretrained navigation model。 - 関連データとして open navigation dataset および gameplay video dataset。 - 同分野の定番として image-goal navigation や vision-and-language navigation の foundation model 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiansong Wan, Chengming Zhou, Jinkua Liu, Xiangge Huang, Xiaoyu Chen, Xiaohan Yi, Qisen Yang, Baiting Zhu, Xin-Qiang Cai, Lixing Liu, Rushuai Yang, Chuheng Zhang, Sherif Abdelfattah, Hayong Shin, Pushi Zhang, Li Zhao, Jiang Bian

分類: cs.CV, cs.RO

原文アブストラクト

Recent studies have explored pretrained (foundation) models for vision-based robotic navigation, aiming to achieve generalizable navigation and positive transfer across diverse environments while enhancing zero-shot performance in unseen settings. In this work, we introduce PIG-Nav (Pretrained Image-Goal Navigation), a new approach that further investigates pretraining strategies for vision-based navigation models and contributes in two key areas. Model-wise, we identify two critical design choices that consistently improve the performance of pretrained navigation models: (1) integrating an early-fusion network structure to combine visual observations and goal images via appropriately pretrained Vision Transformer (ViT) image encoder, and (2) introducing suitable auxiliary tasks to enhance global navigation representation learning, thus further improving navigation performance. Dataset-wise, we propose a novel data preprocessing pipeline for efficiently labeling large-scale game video datasets for navigation model training. We demonstrate that augmenting existing open navigation datasets with diverse gameplay videos improves model performance. Our model achieves an average improvement of 22.6% in zero-shot settings and a 37.5% improvement in fine-tuning settings over existing visual navigation foundation models in two complex simulated environments and one real-world environment. These results advance the state-of-the-art in pretrained image-goal navigation models. Notably, our model maintains competitive performance while requiring significantly less fine-tuning data, highlighting its potential for real-world deployment with minimal labeled supervision.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI