日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚ナビゲーションarXiv:2603.26741

視覚ナビゲーションのための言語条件付きワールドモデリング

Language-Conditioned World Modeling for Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

言語指示に基づく視覚ナビゲーションを、初期の一人称視点のみから将来の軌道を予測する問題として定式化し、大規模データセットと2つのモデル群を提案した。

詳しい要約

1. どんなもの?

- 言語条件付き視覚ナビゲーション(LCVN)を研究 - エージェントは初期の自己中心視点観測のみから自然言語指示に従う - ゴール画像なしで言語が知覚と連続制御を形成 - 言語指示を条件とした開ループ軌道予測として定式化 - LCVN Datasetを導入:39,016軌道と117,048の人間検証済み指示 - 再現可能な研究を多様な環境と指示スタイルで支援

2. 先行研究と比べてどこがすごい?

- 従来の視覚ナビゲーションはゴール画像や地図に依存することが多い - 本研究は言語のみを条件とし、知覚と制御を言語で形成する点が新しい - 言語接地、未来状態予測、行動生成を統合したタスク設定を提案 - LCVN Datasetは大規模で人間検証済み指示を含み、再現性を向上 - 2つのモデルファミリーを比較し、時間的一貫性と未見環境への汎化のトレードオフを明示

3. 技術・手法の肝は?

- 問題を開ループ軌道予測として定式化 - 2つのモデルファミリーを開発 - 第1:LCVN-WM(拡散ベースのワールドモデル)とLCVN-AC(ワールドモデルの潜在空間で訓練されたactor-criticエージェント)の組み合わせ - 第2:LCVN-Uni(自己回帰マルチモーダルアーキテクチャで行動と未来観測を予測) - 言語接地、未来状態予測、行動生成をリンク - コード公開:https://github.com/F1y1113/LCVN

4. どうやって有効だと検証した?

- LCVN Datasetを用いて実験 - 2つのモデルファミリーの性能を比較 - 第1ファミリーは時間的に一貫したロールアウトを提供 - 第2ファミリーは未見環境への汎化がより良い - これらの観察から言語接地、想像、政策学習を統合的に研究する価値を示す

5. 議論はある?

- 2つのモデルファミリーの利点の違いを議論 - 時間的一貫性と未見環境への汎化のトレードオフ - 言語接地、想像、政策学習を統一タスク設定で研究する重要性を指摘 - LCVNが言語条件付きワールドモデルのさらなる研究の基盤を提供 - 具体的な限界や課題は要旨からは不明

6. 次に読むべき論文は?

- LCVN-WM(拡散ベースのワールドモデル) - LCVN-AC(actor-criticエージェント) - LCVN-Uni(自己回帰マルチモーダルアーキテクチャ) - LCVN Dataset - 関連分野:language-conditioned visual navigation, world models, diffusion models, actor-critic, multimodal learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifei Dong, Fengyi Wu, Yilong Dai, Lingdong Kong, Guangyu Chen, Xu Zhu, Qiyu Hu, Tianyu Wang, Johnalbert Garnica, Feng Liu, Siyu Huang, Qi Dai, Zhi-Qi Cheng

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We study language-conditioned visual navigation (LCVN), in which an embodied agent is asked to follow a natural language instruction based only on an initial egocentric observation. Without access to goal images, the agent must rely on language to shape its perception and continuous control, making the grounding problem particularly challenging. We formulate this problem as open-loop trajectory prediction conditioned on linguistic instructions and introduce the LCVN Dataset, a benchmark of 39,016 trajectories and 117,048 human-verified instructions that supports reproducible research across a range of environments and instruction styles. Using this dataset, we develop LCVN frameworks that link language grounding, future-state prediction, and action generation through two complementary model families. The first family combines LCVN-WM, a diffusion-based world model, with LCVN-AC, an actor-critic agent trained in the latent space of the world model. The second family, LCVN-Uni, adopts an autoregressive multimodal architecture that predicts both actions and future observations. Experiments show that these families offer different advantages: the former provides more temporally coherent rollouts, whereas the latter generalizes better to unseen environments. Taken together, these observations point to the value of jointly studying language grounding, imagination, and policy learning in a unified task setting, and LCVN provides a concrete basis for further investigation of language-conditioned world models. The code is available at https://github.com/F1y1113/LCVN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI