日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.15725

DiLA: 分離された潜在アクション世界モデル

DiLA: Disentangled Latent Action World Models

シェア:XThreadsFacebookLINEはてブBluesky

未ラベル動画から世界モデルを学習する際の、アクション抽象化と生成忠実度のトレードオフを、コンテンツと構造の分離によって解決する新しい潜在アクションモデルを提案した。

詳しい要約

1. どんなもの?

- ラベルなし動画から連続フレーム間の抽象行動を推論する Latent Action Models (LAMs) の新手法 DiLA を提案。 - 内容(content)と構造(structure)の disentanglement により、行動抽象度と生成忠実度のトレードオフ解消を目指す。 - 連続的で意味的に構造化された latent action space を生成品質を損なわずに獲得。 - 動画生成、action transfer、visual planning、manifold interpretability で優位な結果。 - 自己教師あり world model 学習の統一フレームワークとして位置づけ。

2. 先行研究と比べてどこがすごい?

- 既存 LAMs は action abstraction と generation fidelity の根本的トレードオフに直面。 - 従来は pre-trained world models を用いた二段階学習や optical flow に限定した予測で回避。 - DiLA は content-structure disentanglement によりこのトレードオフを解決。 - 二段階学習や flow 制限なしで、高レベル行動抽象と高忠実生成を同時達成。 - 要旨からは具体的な先行研究名は不明。

3. 技術・手法の肝は?

- content-structure disentanglement を導入。 - 鍵となる洞察: disentanglement と latent action learning は共進化する。 - latent action learning の predictive bottleneck が disentanglement を駆動。 - 空間レイアウトを structure pathway に蒸留し、視覚詳細を content pathway にオフロード。 - これにより連続的で意味的に構造化された latent action space を生成品質を保ちつつ獲得。

4. どうやって有効だと検証した?

- 動画生成品質、action transfer、visual planning、manifold interpretability で評価。 - これらのタスクで優れた結果を達成。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは明示的な議論や限界は不明。 - ただし、disentanglement と latent action learning の共進化という洞察が中心。 - トレードオフ解消を主張し、統一フレームワークとしての可能性を示唆。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Latent Action Models (LAMs)、pre-trained world models、optical flow ベースの手法が挙げられる。 - 同分野の定番として world models、self-supervised learning、disentangled representation learning の文献が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianqiu Zhang, Muyang Lyu, Yufan Zhang, Fang Fang, Si Wu

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Latent Action Models (LAMs) enable the learning of world models from unlabeled video by inferring abstract actions between consecutive frames. However, LAMs face a fundamental trade-off between action abstraction and generation fidelity. Existing methods typically circumvent this issue by using two-stage training with pre-trained world models or by limiting predictions to optical flow. In this paper, we introduce DiLA, a novel Disentangled Latent Action world model that aims to resolve this trade-off via content-structure disentanglement. Our key insight is that disentanglement and latent action learning are co-evolving: the predictive bottleneck inherent in latent action learning serves as a driving force for disentanglement, compelling the model to distill spatial layouts into the structure pathway while offloading visual details to a separate content pathway for generation. This synergy yields a continuous, semantically structured latent action space without compromising generative quality. DiLA achieves superior results in video generation quality, action transfer, visual planning, and manifold interpretability. These findings establish DiLA as a unified framework that simultaneously achieves high-level action abstraction and high-fidelity generation, advancing the frontier of self-supervised world model learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI