日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.17097

Progress-Think: 視覚言語ナビゲーションのための意味的進捗推論

Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚観測から指示文の進捗を意味的に推論し、ナビゲーション方策を導く三段階フレームワークを提案。R2R-CEとRxR-CEで最高性能を達成。

詳しい要約

1. どんなもの?

- Vision-Language Navigation (VLN) において、エージェントが多段階 instruction のどこまで進んだかを意味的に推論する **semantic progress reasoning** を導入した研究。 - 局所的な視覚文脈だけでなく、instruction に対する進捗を instruction 形式で予測する。 - 観測列と instruction 列の **monotonic co-progression** 特性に着目。 - 高価なアノテーションなしで進捗推論を学習する **three-stage framework** を提案。 - Self-Aligned Progress Pretraining - Progress-Guided Policy Pretraining - Progress-Policy Co-Finetuning - 対象タスクは VLN の連続環境ベンチマーク R2R-CE と RxR-CE。

2. 先行研究と比べてどこがすごい?

- 近年の **Vision-Language-Action models** は直接的な action prediction に注力しており、進捗の扱いが乏しい。 - 従来の progress 手法は数値的な達成度 (numeric achievements) を予測するにとどまる。 - 両者はいずれも観測列と instruction 列の **monotonic co-progression** 特性を考慮していない。 - 本研究は進捗を instruction 形式の **semantic progress** として予測することで、より一貫した navigation advancement の表現を得る点が新しい。 - 高価なアノテーションを必要とせずに進捗推論を学習できる枠組みを提示。

3. 技術・手法の肝は?

- **Self-Aligned Progress Pretraining**: 視覚履歴と instruction prefix の間の新規な **differentiable alignment** により reasoning module をブートストラップ。 - **Progress-Guided Policy Pretraining**: 学習した progress state を navigation context に注入し、一貫した action へ policy を誘導。 - **Progress-Policy Co-Finetuning**: 両モジュールを progress-aware な reinforcement objective で同時に最適化。 - 全体として three-stage framework で、アノテーションなしに semantic progress reasoning を獲得する設計。

4. どうやって有効だと検証した?

- **R2R-CE** と **RxR-CE** の2つの連続環境ベンチマークで実験。 - state-of-the-art な success と efficiency を達成したと報告。 - semantic progress が navigation advancement のより一貫した表現を与えることを示す結果。 - 具体的な ablation や指標の詳細は要旨からは不明。

5. 議論はある?

- semantic progress が navigation advancement の一貫した表現になるという主張を実験結果から支持。 - 進捗を数値ではなく instruction 形式で扱う設計の有効性が示唆される。 - 限界、失敗事例、計算コスト、各ステージの寄与の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接比較されている **Vision-Language-Action models** および従来の **numeric progress prediction** 手法。 - 関連ベンチマークである **R2R-CE** と **RxR-CE** を用いた VLN 研究。 - 背景として **Vision-Language Navigation** および **reinforcement learning** を用いた navigation policy 学習の代表的文献。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuo Wang, Yucheng Wang, Guoxin Lian, Yongcai Wang, Maiyue Chen, Kaihui Wang, Bo Zhang, Zhizhong Su, Yutian Zhou, Wanting Li, Deying Li, Zhaoxin Fan

分類: cs.RO

原文アブストラクト

Vision-Language Navigation requires agents to act coherently over long horizons by understanding not only local visual context but also how far they have advanced within a multi-step instruction. However, recent Vision-Language-Action models focus on direct action prediction and earlier progress methods predict numeric achievements; both overlook the monotonic co-progression property of the observation and instruction sequences. Building on this insight, Progress-Think introduces semantic progress reasoning, predicting instruction-style progress from visual observations to enable more accurate navigation. To achieve this without expensive annotations, we propose a three-stage framework. In the initial stage, Self-Aligned Progress Pretraining bootstraps a reasoning module via a novel differentiable alignment between visual history and instruction prefixes. Then, Progress-Guided Policy Pretraining injects learned progress states into the navigation context, guiding the policy toward consistent actions. Finally, Progress-Policy Co-Finetuning jointly optimizes both modules with tailored progress-aware reinforcement objectives. Experiments on R2R-CE and RxR-CE show state-of-the-art success and efficiency, demonstrating that semantic progress yields a more consistent representation of navigation advancement.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI