日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.02549

MonoDream:パノラマドリーミングによる単眼視覚言語ナビゲーション

MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming

シェア:XThreadsFacebookLINEはてブBluesky

単眼入力のみでパノラマRGB-D相当の空間表現を潜在空間で学習し、視覚言語ナビゲーションの性能を向上させる軽量VLAフレームワークを提案。

詳しい要約

1. どんなもの?

- MonoDreamは、単眼(monocular)入力のみで動作する軽量なVision-Language Action (VLA)フレームワーク。 - 単眼エージェントがUnified Navigation Representation (UNR)と呼ばれる共有特徴表現を学習することを可能にする。 - UNRはナビゲーションに関連する視覚意味(global layout、depth、future cuesなど)と言語に基づく行動意図を統合的に整列させる。 - Latent Panoramic Dreaming (LPD)タスクを導入し、単眼入力からpanoramic RGBとdepthの潜在特徴を現在・将来ステップで予測するよう学習させる。

2. 先行研究と比べてどこがすごい?

- 従来のVLNはpanoramic RGBとdepth入力を用いて空間手がかりを得るが、実世界ではコストや入手性の問題がある。 - 近年のVLAモデルは単眼入力で強い結果を出すが、panoramic RGB-Dを用いる手法には依然劣る。 - MonoDreamは単眼ナビゲーション性能を一貫して改善し、panoramicベースのエージェントとの差を大幅に縮める点が優位。

3. 技術・手法の肝は?

- 軽量VLAフレームワークで、Unified Navigation Representation (UNR)を学習する。 - UNRはナビゲーション関連の視覚意味(global layout、depth、future cues)と言語接地された行動意図を共同で整列する共有特徴表現。 - Latent Panoramic Dreaming (LPD)タスクによりUNRを監督し、単眼入力のみから現在・将来ステップのpanoramic RGBおよびdepth観測の潜在特徴を予測させる。

4. どうやって有効だと検証した?

- 複数のVLNベンチマーク上で実験を実施。 - MonoDreamが単眼ナビゲーション性能を一貫して改善することを示す。 - panoramicベースのエージェントとの性能差を有意に縮めることを確認。 - 具体的なベンチマーク名や数値は要旨からは不明。

5. 議論はある?

- 単眼入力でもpanoramic RGB-Dに近い空間手がかりを潜在空間で獲得できる可能性を示唆。 - 実世界展開におけるセンサコスト・入手性の問題に対する現実的な解を提示。 - 限界や失敗事例、計算コスト、LPDの詳細な設計選択に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- Vision-Language Action (VLA)モデルに関する研究。 - panoramic RGB-D入力を用いるVLN手法。 - 単眼入力VLNの先行研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuo Wang, Yongcai Wang, Zhaoxin Fan, Yucheng Wang, Maiyue Chen, Kaihui Wang, Zhizhong Su, Wanting Li, Xudong Cai, Yeying Jin, Deying Li

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language Navigation (VLN) tasks often leverage panoramic RGB and depth inputs to provide rich spatial cues for action planning, but these sensors can be costly or less accessible in real-world deployments. Recent approaches based on Vision-Language Action (VLA) models achieve strong results with monocular input, yet they still lag behind methods using panoramic RGB-D information. We present MonoDream, a lightweight VLA framework that enables monocular agents to learn a Unified Navigation Representation (UNR). This shared feature representation jointly aligns navigation-relevant visual semantics (e.g., global layout, depth, and future cues) and language-grounded action intent, enabling more reliable action prediction. MonoDream further introduces Latent Panoramic Dreaming (LPD) tasks to supervise the UNR, which train the model to predict latent features of panoramic RGB and depth observations at both current and future steps based on only monocular input. Experiments on multiple VLN benchmarks show that MonoDream consistently improves monocular navigation performance and significantly narrows the gap with panoramic-based agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI