ETP-R1: 強化学習ファインチューニングによるトポロジカル計画の進化 — 連続環境における視覚言語ナビゲーション

- 本論文は、Vision-Language Navigation in Continuous Environments (VLN-CE) のための新しいフレームワーク ETP-R1 を提案する。 - グラフベースのVLN-CEモデルに、大規模データと強化学習ファインチューニング (RFT) のパラダイムを適用することを試みる。 - 具体的には、Gemini API を用いて高品質・大規模な事前学習データセットを構築し、R2R と RxR のデータを統合して事前学習を行う。 - その後、3段階の学習パラダイムを導入し、Group Relative Policy Optimization (GRPO) による閉ループオンラインRFTをグラフベースVLN-CEモデルに初めて適用する。 - 実験により、R2R-CE と RxR-CE のベンチマークで主要指標において最先端性能を達成した。

- 従来のグラフベース手法は、環境をトポロジカルマップに抽象化し、行動空間をウェイポイント選択に簡略化することで効率的かつ構造的なアプローチを提供していたが、大規模データと高度な学習パラダイムを活用する Large Vision-Language Models (LVLMs) ベースの手法に後れを取っていた。 - 本研究は、データ拡大と Reinforcement Fine-Tuning (RFT) のパラダイムをグラフベースVLN-CEモデルに適用することで、このギャップを埋めることを試みる。 - その結果、R2R-CE と RxR-CE のベンチマークで主要指標において新たな最先端性能を確立した。

- 高品質・大規模な事前学習データセットを Gemini API を用いて構築する。このデータセットは、トポロジカル軌道に対する多様で低ハルシネーションな指示から成り、グラフベースポリシーが言語をトポロジカルパスにマッピングするための豊富な監督を提供する。 - R2R と RxR のタスクからのデータを統合し、共同事前学習を行う。 - 3段階の学習パラダイムを導入し、その最終段階で Group Relative Policy Optimization (GRPO) アルゴリズムを用いた閉ループオンラインRFTをグラフベースVLN-CEモデルに初めて適用する。

- 広範な実験により、本アプローチが非常に効果的であることを実証し、R2R-CE と RxR-CE のベンチマークで主要指標において新たな最先端性能を確立した。 - 具体的な検証方法の詳細は要旨からは不明。

- 要旨からは不明。

- 要旨で参照/比較されている研究: グラフベース手法、Large Vision-Language Models (LVLMs) ベースの手法、R2R、RxR、Group Relative Policy Optimization (GRPO)。 - 関連手法として、Vision-Language Navigation in Continuous Environments (VLN-CE) の一般的な研究が挙げられる。