日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.07629

LCLA: 視覚言語ナビゲーションのための言語条件付き潜在空間アライメント

LCLA: Language-Conditioned Latent Alignment for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

専門家方策の潜在空間に視覚言語観測を写像するアダプタを学習することで、視覚運動学習を教師あり潜在アライメントに還元し、屋内ナビゲーションで高い汎化性能を実現した研究。

詳しい要約

1. どんなもの?

- 視覚言語ナビゲーション(Vision-Language Navigation)のためのフレームワーク「LCLA(Language-Conditioned Latent Alignment)」を提案。 - 専門家ポリシーの潜在表現に感覚観測を整列させることで、モジュール型の知覚-行動インターフェースを学習。 - 視覚運動学習を教師あり潜在整列問題に還元し、知覚と制御の安定した契約を実現。 - 屋内ナビゲーションタスクで評価し、分布内性能とゼロショット汎化を確認。

2. 先行研究と比べてどこがすごい?

- 従来の視覚運動学習はエンドツーエンドのポリシー最適化が主流だが、LCLAは潜在整列に置き換えることで安定性を向上。 - 専門家の潜在インターフェースと行動ヘッドを凍結し、軽量アダプタのみを訓練するため、専門家の振る舞いを異なる感覚モダリティや環境変動に再利用可能。 - 推論時に軽量である点も従来手法と比べて優位。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は?

- まず専門家ポリシーを特権的な状態情報(privileged state information)で訓練し、制御に十分な潜在空間を誘導。 - 次に専門家の潜在インターフェースと行動ヘッドを凍結。 - 凍結した視覚言語モデル(frozen vision-language model)を介して、生の視覚言語観測を専門家の潜在空間にマッピングする軽量アダプタを訓練。 - これにより、視覚運動学習を教師あり潜在整列問題に還元。

4. どうやって有効だと検証した?

- 視覚言語屋内ナビゲーションタスクでLCLAを実装し評価。 - 整列された潜在空間が分布内で強い性能を示し、未見の環境、照明条件、視点に対する堅牢なゼロショット汎化を実現。 - 推論時にも軽量であることを確認。

5. 議論はある?

- 知覚と制御の分離により、専門家の振る舞いを異なる感覚モダリティや環境変動に再利用できる点が利点。 - ただし、具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Vision-Language Navigation(VLN)やその代表的手法(例:Seq2Seq、Speaker-Follower、EnvDropなど)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nitesh Subedi, Adam Haroon, Samuel Tetteh, Prajwal Koirala, Cody Fleming, Soumik Sarkar

分類: cs.RO

原文アブストラクト

We propose LCLA (Language-Conditioned Latent Alignment), a framework for vision-language navigation that learns modular perception-action interfaces by aligning sensory observations to a latent representation of an expert policy. The expert is first trained with privileged state information, inducing a latent space sufficient for control, after which its latent interface and action head are frozen. A lightweight adapter is then trained to map raw visual-language observations, via a frozen vision-language model, into the expert's latent space, reducing the problem of visuomotor learning to supervised latent alignment rather than end-to-end policy optimization. This decoupling enforces a stable contract between perception and control, enabling expert behavior to be reused across sensing modalities and environmental variations. We instantiate LCLA and evaluate it on a vision-language indoor navigation task, where aligned latent spaces yield strong in-distribution performance and robust zero-shot generalization to unseen environments, lighting conditions, and viewpoints while remaining lightweight at inference time.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI