日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32292

アフォーダンス条件付き意思決定:ゼロショット階層横断Vision-and-Languageナビゲーションにおける意味空間ギャップの橋渡し

Affordance-Conditioned Decision Making: Bridging the Semantic-Spatial Gap in Zero-Shot Cross-Floor Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

ゼロショット意味プランナに、遷移可能なアフォーダンス姿勢を予測し行動生成を条件付ける局所実行モジュールPACEを追加し、失敗を考慮した選好学習で階層横断ナビゲーションの成功率を改善した。

詳しい要約

1. どんなもの?

- ゼロショットの意味プランナを補強する局所実行モジュール PACE を提案 - 目的は cross-floor VLN における意味意図と物理実行のギャップ解消 - 凍結した zero-shot semantic planner に追加して使う supervised local execution module - 遷移関連の semantics を agent-centric な traversable affordance pose に接地 - その spatial target に条件付けて短horizonの action 生成を行う - failure-aware preference refinement で closed-loop correction を改善

2. 先行研究と比べてどこがすごい?

- 既存の general-purpose semantic planner は高レベル意図の生成に強いが物理実行が弱い - 階段・扉・狭路などの spatially constrained transitions では到達しても通過保証がない - 累積 action error からの回復も課題 - PACE は意味プランナを凍結したまま実行層のみを学習で補強 - 6つの open-source zero-shot VLN navigator に統合し一貫した改善を報告 - R2R-CE cross-floor で平均成功率 16.35%→27.65%、RxR-CE で 4.76%→12.06%

3. 技術・手法の肝は?

- transition-related semantics を long-horizon の agent-centric traversable affordance pose に接地 - その spatial target を条件として short-horizon action generation を行う - 意味目標と物理実行を align する supervised local execution module - failure-aware preference refinement を post-train に採用 - rollout-derived pairs で normal/recovery 行動と deviation-amplifying 行動を対比 - これにより closed-loop correction を改善

4. どうやって有効だと検証した?

- PACE を6つの open-source zero-shot VLN navigator に統合 - R2R-CE と RxR-CE の cross-floor subsets で評価 - 平均成功率が R2R-CE で 16.35%→27.65%、RxR-CE で 4.76%→12.06% に向上 - real-world experiments で unseen environments における適用可能性も提示 - 詳細なベースラインや ablation は要旨からは不明

5. 議論はある?

- traversable affordances が semantic intent と reliable embodied behavior を橋渡しする可能性を示唆 - spatially constrained transitions における実行信頼性の重要性を指摘 - 累積 action error からの回復を preference refinement で扱う点を議論 - 限界・失敗事例・計算コスト・一般化範囲の詳細は要旨からは不明

6. 次に読むべき論文は?

- R2R-CE - RxR-CE - zero-shot VLN navigators(open-source の6手法) - general-purpose semantic planners - preference refinement / preference-based learning - affordance grounding - Vision-and-Language Navigation (VLN)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuekang Yang, Lu Chen, Shuang Luo, Jialing Zhu, Qi Zhang, Yue Gao, Xiang Zhang

分類: cs.RO, cs.AI

原文アブストラクト

Vision-and-language navigation increasingly relies on general-purpose semantic planners, yet translating correct high-level intent into reliable physical execution remains difficult in spatially constrained transitions. Reaching a staircase, doorway, or narrow passage does not ensure traversal; the agent must identify an executable affordance pose and recover from accumulated action errors. We propose PACE (Preference-refined Affordance-Conditioned Execution), a supervised local execution module that augments frozen zero-shot semantic planners for reliable cross-floor navigation. PACE grounds transition-related semantics into a long-horizon, agent-centric traversable affordance pose and conditions short-horizon action generation on this spatial target, thereby aligning semantic goals with physical execution. We further post-train PACE through failure-aware preference refinement using rollout-derived pairs that contrast normal or recovery behaviors with deviation-amplifying behaviors, thereby improving closed-loop correction. We integrate PACE into six open-source zero-shot VLN navigators and demonstrate consistent improvements on the cross-floor subsets of R2R-CE and RxR-CE, increasing the average success rate from 16.35% to 27.65% and from 4.76% to 12.06%, respectively. Real-world experiments further demonstrate PACE's applicability in unseen environments, highlighting the potential of traversable affordances to bridge semantic intent and reliable embodied behavior.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI