日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.11886

Aux-Think: データ効率の良い視覚言語ナビゲーションのための推論戦略の探求

Aux-Think: Exploring Reasoning Strategies for Data-Efficient Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーション(VLN)において推論戦略を体系的に評価し、推論時の推論崩壊問題を明らかにした上で、CoT教師あり学習で推論パターンを内部化しつつ直接行動予測を行うAux-Thinkを提案した。

詳しい要約

1. どんなもの?

- Vision-Language Navigation (VLN) における reasoning 戦略を体系的に評価する研究 - No-Think(直接行動予測)、Pre-Think(行動前に推論)、Post-Think(行動後に推論)の3戦略を比較 - 推論時に reasoning を行うとナビゲーション精度が低下する Inference-time Reasoning Collapse を発見 - この知見に基づき、CoT supervision で構造化 reasoning を内部化しつつ、オンライン予測では reasoning せず直接行動を推論する Aux-Think を提案 - 最初の VLN 向け Chain-of-Thought 注釈データセット R2R-CoT-320k を公開

2. 先行研究と比べてどこがすごい?

- 従来の VLN は大規模 pretrained model により generalization と instruction grounding が向上 - しかし navigation のような action-centric で long-horizon なタスクにおける reasoning 戦略の役割は未探索 - CoT reasoning は visual question answering などの静的タスクでは成功しているが、VLN では体系的評価がなかった - 本研究は VLN における reasoning 戦略の初の体系的評価を実施 - Inference-time Reasoning Collapse という新たな問題を明らかにした点が新規 - Aux-Think は同一データ規模で最高性能を達成し、訓練コストも大幅に削減

3. 技術・手法の肝は?

- No-Think / Pre-Think / Post-Think の3つの reasoning 戦略を定義し比較評価 - 推論時に reasoning を入れると精度が落ちる Inference-time Reasoning Collapse を特定 - Aux-Think は CoT supervision によりモデルに構造化 reasoning pattern を内部化させる - オンライン予測時には reasoning を行わず直接 action を推論 - R2R-CoT-320k を構築:VLN 向け初の Chain-of-Thought 注釈付きデータセット - 訓練時に reasoning を学習し、推論時には省略する枠組みが肝

4. どうやって有効だと検証した?

- No-Think、Pre-Think、Post-Think の systematic evaluation を実施 - Inference-time Reasoning Collapse の存在を実験的に示した - Aux-Think について extensive experiments を実施 - 同一データ規模の条件下で最高性能を達成することを確認 - 訓練 effort が大幅に削減されることを示した - 具体的なベンチマーク名や数値は要旨からは不明

5. 議論はある?

- Inference-time Reasoning Collapse の原因や詳細な分析は要旨からは不明 - なぜ VLN では推論時 reasoning が精度を下げるのかの議論は要旨からは不明 - Aux-Think が内部化する reasoning pattern の一般性や限界は要旨からは不明 - R2R-CoT-320k の品質や注釈方法の詳細は要旨からは不明 - 他の embodied タスクへの転用可能性は要旨からは不明

6. 次に読むべき論文は?

- Chain-of-Thought (CoT) reasoning の原論文(visual question answering における CoT) - Vision-Language Navigation (VLN) の大規模 pretrained model を用いた先行研究 - R2R データセットおよび R2R-CoT-320k の関連研究 - No-Think / Pre-Think / Post-Think の比較対象となった reasoning 戦略の関連研究 - embodied agent 向け long-horizon タスクにおける reasoning 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuo Wang, Yongcai Wang, Wanting Li, Xudong Cai, Yucheng Wang, Maiyue Chen, Kaihui Wang, Zhizhong Su, Deying Li, Zhaoxin Fan

分類: cs.RO

原文アブストラクト

Vision-Language Navigation (VLN) is a critical task for developing embodied agents that can follow natural language instructions to navigate in complex real-world environments. Recent advances in VLN by large pretrained models have significantly improved generalization and instruction grounding compared to traditional approaches. However, the role of reasoning strategies in navigation-an action-centric, long-horizon task-remains underexplored, despite Chain-of-Thought (CoT) reasoning's demonstrated success in static tasks like visual question answering. To address this gap, we conduct the first systematic evaluation of reasoning strategies for VLN, including No-Think (direct action prediction), Pre-Think (reason before action), and Post-Think (reason after action). Surprisingly, our findings reveal the Inference-time Reasoning Collapse issue, where inference-time reasoning degrades navigation accuracy, highlighting the challenges of integrating reasoning into VLN. Based on this insight, we propose Aux-Think, a framework that trains models to internalize structured reasoning patterns through CoT supervision, while inferring action directly without reasoning in online prediction. To support this framework, we release R2R-CoT-320k, the first Chain-of-Thought annotated dataset for VLN. Extensive experiments show that Aux-Think reduces training effort greatly and achieves the best performance under the same data scale.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI