日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2609.33464

実演動画から明示的な行動意味論を蒸留する世界モデルVIDEAS

VIDEAS: Distilling Explicit Action Semantics from Demonstration Videos for World Models via Prior-Guided Simulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作動画を離散的な行動軌跡に分解し、VLMと事前知識ガイド付きシミュレーションで行動の前提条件と効果を構造化知識として抽出、言語ベース世界モデルを学習する枠組み。

詳しい要約

1. どんなもの?

- 世界モデルは環境ダイナミクスの内部表現を学習し、物理的相互作用なしに行動計画を最適化する。 - しかし、因果的物理法則を内在化し、行動の前提条件と状態遷移を明示的に推論する世界モデルの開発は未解決。 - 本論文ではVIDEASを提案。連続的な物理ダイナミクスを操作動画から明示的な行動セマンティクスに変換するデータ蒸留フレームワーク。 - 視覚デモンストレーションを離散的行動軌跡に分解し、VLMを用いて行動の前提条件と効果を構造化知識として抽出。 - 物理的一貫性を保証するため、テキストベース環境でのprior-guided trajectory simulationを導入。 - 負の軌跡を組み込み知識の完全性を高め、データ多様性で認知バイアスを軽減。 - VIDEAS-WMは8B/9Bパラメータの言語ベース世界モデル群で、AgiBot-Worldデータセットから得た34K高品質サンプルで訓練。 - 広範な実験で高レベル身体行動セマンティック推論のSOTA性能を達成し、未見シナリオへの堅牢な汎化を示す。

2. 先行研究と比べてどこがすごい?

- 従来の世界モデルは連続的物理ダイナミクスの学習に焦点を当て、因果的物理法則の明示的推論が不十分。 - VIDEASは操作動画から明示的な行動セマンティクスを蒸留し、行動の前提条件と効果を構造化知識として抽出。 - prior-guided trajectory simulationにより物理的一貫性を検証し、負の軌跡とデータ多様性で認知バイアスを軽減。 - VIDEAS-WMは高レベル身体行動セマンティック推論でSOTAを達成し、未見シナリオへの汎化を示す。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 視覚デモンストレーションを離散的行動軌跡に分解。 - 先進的VLMを用いて行動の前提条件と効果を含む構造化知識を抽出。 - prior-guided trajectory simulationをテキストベース環境で実施し、抽出知識を厳密に検証。 - 負の軌跡を組み込み知識の完全性を向上。 - データ多様性を高め認知バイアスを軽減。 - 34K高品質サンプル(AgiBot-Worldデータセット由来)で8B/9Bパラメータの言語ベース世界モデルVIDEAS-WMを訓練。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - 高レベル身体行動セマンティック推論においてVIDEAS-WMがSOTA性能を達成。 - 深い物理理解と未見シナリオへの堅牢な汎化を示す。 - 具体的な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や議論点についての記述はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、world models、vision-language models (VLMs)、embodied action semantic reasoning、AgiBot-World datasetが挙げられる。 - 同分野の定番として、Dreamer、PlaNet、RT-1、PaLM-Eなどが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianan Wang, Haoquan Zhai, Siyang Zhang, Bin Li, Juan Chen, Jingtao Qi, Zhuo Zhang, Enze Wang, Haoxiang Jin, Chen Qian

分類: cs.RO

原文アブストラクト

World models learn internal representations of environment dynamics to predict future states, enabling agents to optimize action plans without physical interactions. However, developing world models that genuinely internalize underlying causal physical laws to explicitly reason about action preconditions and subsequent state transitions remains an open challenge. In this paper, we propose VIDEAS, a data distillation framework that transforms continuous physical dynamics from operational videos into explicit action semantics for foundation models. Specifically, it deconstructs visual demonstrations into discrete action trajectories and utilizes advanced vision-language models (VLMs) to extract structured knowledge encapsulating action preconditions and effects. To ensure physical consistency, we introduce a prior-guided trajectory simulation mechanism grounded within a text-based environment to rigorously validate the extracted knowledge. Notably, we incorporate negative trajectories to enrich knowledge completeness and enhance data diversity to mitigate cognitive bias. Furthermore, we present VIDEAS-WM, an 8B/9B-parameter suite of language-based world models trained on 34K high-quality samples derived from AgiBot-World dataset. Extensive experiments demonstrate that VIDEAS-WM establishes state-of-the-art performance in high-level embodied action semantic reasoning, exhibiting profound physical understanding and robust generalization across unseen scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI