日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.04130

CLAW: 敵対的潜在正則化による連続潜在アクション世界モデルの学習

CLAW: Learning Continuous Latent Action World Models via Adversarial Latent Regularization

シェア:XThreadsFacebookLINEはてブBluesky

アクションラベルなしのビデオから、連続的な潜在アクション表現と世界モデルを同時に学習する自己教師ありフレームワークを提案。模倣学習と目標指向プランニングに応用できる。

詳しい要約

1. どんなもの?

- アクションラベルなしの動画から、連続潜在アクション表現とworld modelを同時にend-to-endで学習する自己教師ありフレームワークCLAWを提案。 - adversarial latent regularizationとdiffusion-based video generationを活用し、構造的で意味のあるアクション表現と予測的な環境ダイナミクスを獲得。 - 推論されたアクションが視覚観察から環境遷移をどう引き起こすかを推論。 - 観察からのimitation learningとgoal-directed planningをサポート。

2. 先行研究と比べてどこがすごい?

- アクションラベルやアノテーションを一切必要とせず、action-free動画のみから学習可能。 - 既存手法と比較して、意味的に有意な潜在アクション表現を生成し、効果的なaction transferを実現。 - 観察からのplanningとimitationにおいて既存手法を上回る性能を示す。

3. 技術・手法の肝は?

- Latent Action Modelとworld modelを同時に訓練。 - adversarial latent regularizationにより、構造的で意味のある潜在アクションを獲得。 - diffusion-based video generationを用いて、豊かで予測的な環境ダイナミクスをモデル化。 - 推論された潜在アクションを実行可能なアクションにマッピングしてplanningを実現。

4. どうやって有効だと検証した?

- 多様なタスクとembodimentsにわたる広範な実験を実施。 - CLAWが意味的に有意な潜在アクション表現を生成し、action transferをサポートし、観察からのplanningとimitationを可能にすることを示す。 - 既存手法を上回る性能を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法としてLatent Action Model、world model、diffusion-based video generation、imitation learning、goal-directed planningの定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tewodros Ayalew, Matthew Jeung, Samuel Wheeler, Xiao Zhang, Andre de la Cruz Arce, Kaylene Stocking, Michael Maire, Matthew R. Walter

分類: cs.RO

原文アブストラクト

We introduce CLAW, a fully end-to-end self-supervised framework for learning a world model jointly with continuous latent action representations directly from action-free videos. Our approach leverages adversarial latent regularization and diffusion-based video generation to capture structured and semantically meaningful action representations while modeling rich, predictive environment dynamics, without relying on any action labels or annotations. By simultaneously training the Latent Action Model and world model, CLAW learns to reason about how inferred actions induce environment transitions from visual observations alone. We show that the resulting latent action world model supports both imitation learning from observation and goal-directed planning. In imitation learning, latent actions extracted from raw videos enable behavior cloning. For planning, CLAW generates sequences of latent actions and maps them to executable actions to reach desired goals. Extensive experiments across diverse tasks and embodiments demonstrate that CLAW produces semantically meaningful latent action representations, supports effective action transfer, and enables planning and imitation from observation, outperforming existing methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI