日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2508.20840

プリミティブ身体性ワールドモデルの学習:スケーラブルなロボット学習に向けて

Learning Primitive Embodied World Models: Towards Scalable Robotic Learning

シェア:XThreadsFacebookLINEはてブBluesky

動画生成ベースの身体性ワールドモデルを固定短時間のプリミティブ動作に限定し、言語と動作の細粒度対応・データ効率・推論速度を改善するPEWMを提案。VLMプランナとヒートマップ誘導で閉ループ制御と長期タスクへの組合せ汎化を実現する。

詳しい要約

1. どんなもの?

- 本論文は、動画生成ベースの embodied world model の新パラダイム「Primitive Embodied World Models (PEWM)」を提案する。 - embodied データの多様性が、取り得る primitive motion の小さな空間を大きく上回るという観察に基づく。 - 動画生成を固定された短い horizon に制限することで world modeling を行う。 - モジュール式の Vision-Language Model (VLM) planner と Start-Goal heatmap Guidance mechanism (SGG) を組み合わせ、閉ループ制御と primitive-level policy の compositional generalization を可能にする。 - スケーラブルで解釈可能な汎用 embodied intelligence への道を開くことを目指す。

2. 先行研究と比べてどこがすごい?

- 先行研究として、動画生成ベースの embodied world model が注目されているが、大規模な embodied interaction data への依存がボトルネックであると指摘する。 - embodied データの希少性・収集困難性・高次元性が、language と action の alignment 粒度を制限し、long-horizon 動画生成の難しさを悪化させると述べる。 - これにより生成モデルが embodied 領域で「GPT moment」を迎えられていないとする。 - PEWM は固定された短い horizon に動画生成を制限することで、これらの制約に対処する点が先行研究と異なる。 - 具体的な比較対象の研究名は要旨からは不明。

3. 技術・手法の肝は?

- 動画生成を固定された短い horizon に制限する world modeling パラダイムを採用する。 - これにより、linguistic concepts とロボット action の視覚表現との fine-grained alignment を可能にする。 - 学習複雑性を低減し、embodied データ収集のデータ効率を改善し、推論レイテンシを低減する。 - モジュール式の Vision-Language Model (VLM) planner を備える。 - Start-Goal heatmap Guidance mechanism (SGG) を備え、柔軟な閉ループ制御と、長く複雑なタスクに対する primitive-level policy の compositional generalization を支援する。 - 動画モデルの時空間視覚 prior と VLM の意味理解を活用し、fine-grained physical interaction と high-level reasoning のギャップを橋渡しする。

4. どうやって有効だと検証した?

- 要旨からは不明。 - 実験設定、データセット、評価指標、ベースライン比較などの具体的な検証方法は要旨に記載されていない。

5. 議論はある?

- 要旨からは不明。 - 限界、失敗事例、計算コスト、スケーラビリティに関する具体的な議論は要旨に記載されていない。 - ただし、embodied データの希少性・収集困難性・高次元性、および long-horizon 動画生成の難しさを課題として挙げている。

6. 次に読むべき論文は?

- 動画生成ベースの embodied world model に関する先行研究(具体的な論文名は要旨からは不明)。 - Vision-Language Model (VLM) を用いた planner に関する研究。 - Start-Goal heatmap Guidance mechanism (SGG) に関連する手法。 - primitive motion や primitive-level policy に関する研究。 - 同分野の定番として、embodied world model や video generation を用いたロボティクス学習の関連論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiao Sun, Liujia Yang, Wei Tang, Wei Huang, Kaixin Xu, Yongchao Chen, Mingyu Liu, Jiange Yang, Haoyi Zhu, Yating Wang, Tong He, Yilun Chen, Xili Dai, Nanyang Ye, Qinying Gu

分類: cs.RO, cs.AI, cs.MM

原文アブストラクト

While video-generation-based embodied world models have gained increasing attention, their reliance on large-scale embodied interaction data remains a key bottleneck. The scarcity, difficulty of collection, and high dimensionality of embodied data fundamentally limit the alignment granularity between language and actions and exacerbate the challenge of long-horizon video generation--hindering generative models from achieving a "GPT moment" in the embodied domain. There is a naive observation: the diversity of embodied data far exceeds the relatively small space of possible primitive motions. Based on this insight, we propose a novel paradigm for world modeling--Primitive Embodied World Models (PEWM). By restricting video generation to fixed short horizons, our approach 1) enables fine-grained alignment between linguistic concepts and visual representations of robotic actions, 2) reduces learning complexity, 3) improves data efficiency in embodied data collection, and 4) decreases inference latency. By equipping with a modular Vision-Language Model (VLM) planner and a Start-Goal heatmap Guidance mechanism (SGG), PEWM further enables flexible closed-loop control and supports compositional generalization of primitive-level policies over extended, complex tasks. Our framework leverages the spatiotemporal vision priors in video models and the semantic awareness of VLMs to bridge the gap between fine-grained physical interaction and high-level reasoning, paving the way toward scalable, interpretable, and general-purpose embodied intelligence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI