日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.07548

SC$^{2}$-WM: 連続環境における視覚・言語ナビゲーションのための閉ループフィードバックを備えた自己修正ワールドモデル

SC$^{2}$-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments

シェア:XThreadsFacebookLINEはてブBluesky

VLN-CEタスクにおいて、内部フィードバックを用いた閉ループ意思決定を行う自己修正ワールドモデルを提案し、状態ドリフトを検出・修正してナビゲーションの堅牢性を向上させた。

詳しい要約

1. どんなもの?

SC$^{2}$-WMは、連続環境におけるVision-and-Language Navigation (VLN-CE)のための自己修正ワールドモデルフレームワークである。部分観測下での細かいナビゲーション決定を扱い、推論中の内部状態ドリフトを検出・修正する閉ループ意思決定を導入する。ワールドモデルの先読みからフィードバックを導出し、行動実行前に状態レベルの計画修正を行う。さらに、フィードバックがモデル容量の不足を示す場合に、テスト時にワールドモデルを選択的に更新する条件付きワールド認識適応を導入する。

2. 先行研究と比べてどこがすごい?

既存のVLN-CE手法の多くはオープンループ実行に依存し、推論中の内部状態ドリフトを検出・修正するメカニズムが欠如している。SC$^{2}$-WMは、ワールドモデルの先読みに基づく内部フィードバックを導入し、行動実行前に状態レベルの計画修正を行うことで、閉ループ意思決定を実現する点が新しい。さらに、テスト時にモデルを適応的に更新する条件付きワールド認識適応により、モデル容量の不足に対処する点も独自性がある。

3. 技術・手法の肝は?

手法の肝は、ワールドモデルの先読みから得られるフィードバックを利用して、行動実行前に状態レベルの計画修正を行うことである。具体的には、内部フィードバックを導出し、状態ドリフトを検出して修正する。また、フィードバックがモデル容量の不足を示す場合には、条件付きワールド認識適応を用いて、テスト時にワールドモデルを選択的に更新する。これにより、モデルレベルの修正と状態レベルの修正を組み合わせる。

4. どうやって有効だと検証した?

標準的なVLN-CEベンチマークでの実験により、ナビゲーションの堅牢性と一般化の向上を示した。具体的な評価指標や比較対象は要旨からは不明だが、標準ベンチマークでの性能向上が報告されている。

5. 議論はある?

要旨からは、提案手法の限界や他の手法との比較に関する議論は明示されていない。ただし、テスト時のモデル更新は計算コストや過適合のリスクを伴う可能性があり、その点に関する議論が考えられるが、要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、VLN-CEの分野では、従来のVLN手法やワールドモデルを用いた意思決定手法が関連する。具体的には、Vision-and-Language Navigationの既存研究や、モデルベース強化学習におけるワールドモデルの活用に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuan Yao, Yuze Zhu, Junyu Gao, Zongmeng Wang, Changsheng Xu

分類: cs.RO, cs.CV

原文アブストラクト

Vision-and-Language Navigation in Continuous Environments (VLN-CE) requires agents to make fine-grained navigation decisions under partial observability. However, most existing methods rely on open-loop execution, lacking mechanisms to detect and correct internal state drift during inference. We propose SC$^{2}$-WM, a self-correcting world model framework that introduces internal feedback for closed-loop decision making in VLN-CE. Our method derives feedback from world-model foresight to perform state-level plan refinement before action execution. To handle challenging scenarios, we further introduce conditional world-aware adaptation, which enables model-level correction by selectively updating the world model at test time when feedback indicates model capacity insufficiency. Experiments on standard VLN-CE benchmarks demonstrate improved navigation robustness and generalization. Our code is available at https://github.com/sunrise-ikun/SC2_WM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI