日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオワールドモデルarXiv:2607.28362

ShadowDancer: ビデオとその影から統一力学表現を学習し、ビデオワールドモデルに任意のアクションを教える

ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow

シェア:XThreadsFacebookLINEはてブBluesky

デモ動画のペア(シャドウペア)を用いて、見た目に依存しない統一的な力学表現を学習し、任意のアクションをフレームレベルで制御できるビデオワールドモデルを提案した。

詳しい要約

1. どんなもの?

ShadowDancerは、インタラクティブなビデオワールドモデルに対する任意アクションのフレームレベル制御を実現する新しいアプローチ。デモンストレーションビデオからアクションを学習し、新しいシーンでアクションラベルやモーション推定、ファインチューニングなしで再利用可能にする。

2. 先行研究と比べてどこがすごい?

既存のインターフェースはアクションを緩くエンコードするか、特定のファミリーに限定された構造化シグナルを使うため、多様なダイナミクスへの正確な制御が困難だった。ShadowDancerはデモビデオを自然な解決策とし、シャドウペアとクロスシャドウ予測により、アクション転送と長期ロールアウトを改善。

3. 技術・手法の肝は?

2つの主要な革新:(1) シャドウペア - 同じダイナミクスを独立に再サンプリングした外観で再生するビデオペアをShadow Libraryで大規模構築。(2) クロスシャドウ予測 - 一方のシャドウから他方を予測することでアクションを学習し、再サンプリングされた情報を破棄し、保存された情報をアクションとして抽出。これにより統一ダイナミクス表現を獲得し、ブロック因果ワールドモデルを駆動。

4. どうやって有効だと検証した?

多様なダイナミクスファミリーにわたる強力な潜在アクションおよびインタラクティブワールドモデルのベースラインと比較し、アクション転送と長期アクションロールアウトの改善を実証。ロールアウト比較で平均ブラインド勝率86%を達成。

5. 議論はある?

要旨からは、シャドウペアの構築可能性がダイナミクスファミリーの制御可能性に直結する点や、外観の再サンプリングがアクション学習に与える影響などが議論の余地として考えられるが、具体的な議論は要旨に記載されていない。

6. 次に読むべき論文は?

要旨で参照されている強力な潜在アクションおよびインタラクティブワールドモデルのベースライン(具体的な名称は不明)や、関連するビデオワールドモデル、アクション表現学習の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Cao, Zian Meng, Kaipeng Zhang

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

We present ShadowDancer, a novel approach to any-action, frame-level control of interactive video world models. The obstacle is representational: existing interfaces either encode an action loosely, leaving how it unfolds for the model to improvise, or encode it exactly through structured signals that serve one family and are hard to acquire, so precise control across diverse dynamics remains impractical. Demonstration videos are the natural remedy, specifying any dynamics frame by frame; yet a video shows its dynamics only through one particular appearance, a single shadow of the underlying dynamics, so actions learned from demonstrations transfer poorly to new scenes. ShadowDancer addresses this with two key innovations: (1) shadow pairs, video pairs that replay the same dynamics under independently resampled appearance, constructed at scale by our Shadow Library, so that a dynamics family becomes controllable exactly when such pairs can be constructed for it; and (2) cross-shadow prediction, which learns actions by predicting one shadow from the other, so that whatever the pairing resamples is discarded by construction and whatever it preserves becomes the action, yielding a unified dynamics representation that drives a block-causal world model. Any demonstrated clip thus becomes a reusable action asset, replayed in new environments without action labels, motion estimators, or fine-tuning. Experiments demonstrate improved action transfer and long action rollout over strong latent-action and interactive world model baselines across diverse dynamics families, with an average blinded win rate of 86% in rollout comparisons. We show video results at https://ShadowDancer-1.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI