日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

潜在行動/動画拡散arXiv:2611.05377

DreamX:動画拡散モデルを汎用潜在行動学習器として活用

DreamX: Video Diffusion Model is a Universal Latent Action Learner

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み動画拡散モデルから外観に依存しないコンパクトな潜在行動を抽出し、人間とロボットをまたぐ汎用的な行動インターフェースを実現した研究。

詳しい要約

1. どんなもの?

- 与えられた論文の要旨から構成した要約 - DreamX は、pretrained video diffusion model を universal latent action learner として再利用する手法 - video model の rich な spatiotemporal features から compact な latent actions を抽出 - 各 latent video frame を 1,200 → 4 tokens へ 300× 圧縮 - generative prior により、visual appearance から disentangle された action-relevant dynamics を捉える - 得られた latent space を human と robot など embodiment 間の shared action interface として用いる

2. 先行研究と比べてどこがすごい?

- 先行研究との比較 - 既存の latent action models は visual transitions から action を推定するが、representation が action と無関係な visual variations と絡み合い、embodiment 間の transfer を制限していた - DreamX は pretrained video diffusion model の generative prior を活用し、action-relevant dynamics を visual appearance から disentangle - その結果、embodiment・environment・action parameterization をまたぐ shared action interface を実現 - LARY-Bench で latent action models の中で state-of-the-art 性能を達成

3. 技術・手法の肝は?

- 技術・手法の肝 - pretrained video diffusion model を universal latent action learner として転用 - video model の spatiotemporal features から compact な latent actions を抽出 - latent video frame を 1,200 → 4 tokens に圧縮(300×) - video model の generative prior を利用し、action-relevant dynamics を visual appearance から disentangle - 得られた latent space を embodiment・environment・action parameterization 間の shared action interface として機能させる - 詳細な architecture や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 有効性の検証 - LARY-Bench 上で評価し、latent action models の中で state-of-the-art 性能を達成 - ある設定で encode した actions が別設定でも有効であることを確認 - latent space が any-to-any video transfer を支持 - 多様な embodiments・environments をまたぐ zero-shot action transfer を確認 - shared interface により compact latent action space での policy learning が可能となり、video-diffusion-based policies の計算コストを削減 - 具体的な実験設定・指標・被験体数は要旨からは不明

5. 議論はある?

- 議論・限界 - 要旨からは不明 - 想定される論点として、video diffusion model 由来の generative prior が action-relevant dynamics と appearance をどの程度分離できているかの評価 - embodiment 間 transfer の一般性・頑健性 - compact latent action space での policy learning の性能と計算コストの trade-off - ただしこれらは要旨に明示された議論ではなく、推測で断定しない

6. 次に読むべき論文は?

- 次に読むべき論文 - 要旨で直接参照・比較されている研究は明示されていない - 関連手法として latent action models、video diffusion models、video-diffusion-based policies の代表的論文 - ベンチマークとして LARY-Bench の原論文 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, Seungryong Kim

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Learning a universal action representation from video requires modeling dynamics that are consistent across different executions of the same action yet invariant to changes in embodiment and appearance. Existing latent action models infer actions from visual transitions, but their representations often entangle the underlying action with irrelevant visual variations, limiting transfer across embodiments. We introduce DreamX, which repurposes a pretrained video diffusion model as a universal latent action learner. Our approach extracts compact latent actions from the video model's rich spatiotemporal features, compressing each latent video frame by $\boldsymbol{300\times}$ ($\boldsymbol{1{,}200 \rightarrow 4}$ tokens). In addition, by leveraging the video model's generative prior, these latent actions capture action-relevant dynamics disentangled from visual appearance. The resulting latent space serves as a shared action interface across embodiments (human and robot), environments, and action parameterizations. On LARY-Bench, DreamX achieves state-of-the-art performance among latent action models. Moreover, actions encoded in one setting remain effective in another: the latent space supports any-to-any video transfer and zero-shot action transfer across diverse embodiments and environments. Furthermore, this shared interface also enables policy learning in a compact latent action space, reducing the computational cost of video-diffusion-based policies.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI