日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.01600

WoMAP: 実世界モデルによる身体性を伴うオープン語彙物体位置推定

WoMAP: World Models For Embodied Open-Vocabulary Object Localization

シェア:XThreadsFacebookLINEはてブBluesky

ガウススプラッティングによる実→シミュ→実パイプラインと潜在世界モデルを組み合わせ、実演データなしでオープン語彙物体位置推定ポリシーを学習する手法を提案。

詳しい要約

1. どんなもの?

- 言語指示に基づく能動的な物体位置推定 (active object localization) をロボットで行うための手法 WoMAP を提案 - 部分的にしか観測できない環境を効率的に探索し、open-vocabulary の物体を定位する政策を学習 - Gaussian Splatting ベースの real-to-sim-to-real パイプライン、open-vocabulary 物体検出器からの dense reward 蒸留、latent world model を組み合わせる - シミュレーションと実機 (TidyBot) で zero-shot 物体定位タスクを検証

2. 先行研究と比べてどこがすごい?

- imitation learning 系の先行手法はデモンストレーションデータセットを超えた汎化が苦手 - VLM 系の先行手法は物理的に grounded な行動を生成できない - WoMAP は expert demonstration を必要とせずスケーラブルにデータ生成できる点が異なる - 実験で VLM ベースライン比 9 倍以上、diffusion policy ベースライン比 2 倍以上の成功率を報告

3. 技術・手法の肝は?

- (i) Gaussian Splatting ベースの real-to-sim-to-real パイプラインで expert demonstration なしにスケーラブルなデータ生成 - (ii) open-vocabulary 物体検出器から dense reward signal を蒸留 - (iii) latent world model で dynamics と reward を予測し、推論時に高レベル行動提案を grounding - これらを組み合わせて open-vocabulary 物体定位政策を学習

4. どうやって有効だと検証した?

- 厳密なシミュレーション実験とハードウェア実験を実施 - 広範な zero-shot 物体定位タスクで評価 - VLM および diffusion policy ベースラインとの成功率比較 - TidyBot 上で強い汎化と sim-to-real transfer を示す

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、議論の詳細は記述されていない)

6. 次に読むべき論文は?

- VLM ベースの物体定位手法(要旨で比較対象として言及) - diffusion policy ベースライン(要旨で比較対象として言及) - imitation learning ベースの物体定位手法(要旨で言及) - Gaussian Splatting を用いた real-to-sim-to-real 研究 - latent world model を用いた model-based RL 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tenny Yin, Zhiting Mei, Tao Sun, Lihan Zha, Emily Zhou, Jeremy Bao, Miyu Yamane, Ola Shorinwa, Anirudha Majumdar

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Language-instructed active object localization is a critical challenge for robots, requiring efficient exploration of partially observable environments. However, state-of-the-art approaches either struggle to generalize beyond demonstration datasets (e.g., imitation learning methods) or fail to generate physically grounded actions (e.g., VLMs). To address these limitations, we introduce WoMAP (World Models for Active Perception): a recipe for training open-vocabulary object localization policies that: (i) uses a Gaussian Splatting-based real-to-sim-to-real pipeline for scalable data generation without the need for expert demonstrations, (ii) distills dense rewards signals from open-vocabulary object detectors, and (iii) leverages a latent world model for dynamics and rewards prediction to ground high-level action proposals at inference time. Rigorous simulation and hardware experiments demonstrate WoMAP's superior performance in a broad range of zero-shot object localization tasks, with more than 9x and 2x higher success rates compared to VLM and diffusion policy baselines, respectively. Further, we show that WoMAP achieves strong generalization and sim-to-real transfer on a TidyBot.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI