日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2610.19212

分離型ドリフト拡散ワールドモデルによる一貫した未来フレーム予測

Decoupled Drift-Diffusion World Models for Consistent Future Frame Prediction

シェア:XThreadsFacebookLINEはてブBluesky

不確実性マップを学習して確定的変化と確率的変化を分離し、条件付き拡散モデルで未来の画像フレームを予測するワールドモデルを提案した。

詳しい要約

1. どんなもの?

- 視覚情報のWorld Modelで、行動に条件づけて未来の画像フレームを予測する。 - 決定論的変化(ロボットの制御運動など)と確率的変化(物体のレンダリングや遮蔽解除など)が混在する。 - 確率的変化の空間位置は学習可能という洞察に基づき、決定論的予測と空間不確実性マップを同時回帰し、不確実性マップで条件付き拡散過程を導く。 - 提案手法はDecoupled Drift-Diffusion World Model (D3WM)。 - TransformerをGaussian negative-log-likelihood目的で訓練し、決定論的次状態予測とheteroscedastic aleatoric uncertaintyの空間マップを生成。 - 学習された不確実性マップが条件付き拡散モデルの構造的空間ゲートを提供。決定論的領域は予測状態に固定し、不確実領域(遮蔽解除や動的テクスチャ)は拡散過程でサンプリング。 - この分解をvariance-gated stochastic differential equationの枠組みで定式化し、決定論的ドリフトと確率的拡散を分離。

2. 先行研究と比べてどこがすごい?

- 従来のWorld Modelは決定論的変化と確率的変化を明示的に分離せず、未来フレーム予測を行っていた。 - D3WMは確率的変化の空間位置が学習可能という新規洞察を導入。 - 決定論的予測と不確実性マップを同時回帰し、不確実性マップを拡散モデルの空間ゲートとして利用する点が独自。 - これにより、決定論的領域と不確実領域を適応的に扱い、予測の一貫性を向上。 - ロボット卓上操作とカメラ運動という異なる行動空間で競合ベースラインより改善。

3. 技術・手法の肝は?

- TransformerをGaussian negative-log-likelihood目的で訓練し、決定論的次状態予測とheteroscedastic aleatoric uncertaintyの空間マップを同時出力。 - 学習された不確実性マップが条件付き拡散モデルの構造的空間ゲートとして機能。 - 決定論的領域は予測状態にアンカーし、不確実領域(遮蔽解除や動的テクスチャ)は拡散過程でサンプリング。 - この分解をvariance-gated stochastic differential equationで定式化し、決定論的ドリフトと確率的拡散を分離。 - 空間的不確実性マップが拡散過程のサンプリング領域を制御。

4. どうやって有効だと検証した?

- 2種類の異なる行動空間で評価:ロボット卓上操作とカメラ運動。 - 競合ベースラインと比較し、D3WMが改善された結果を示す。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、World Models、条件付き拡散モデル、Transformerベースの予測モデル、stochastic differential equationを用いた生成モデルが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anton Arapin, Aditya Singh, Yixin Wang, Jun Gao, Bernadette Bucher

分類: cs.CV

原文アブストラクト

World models of visual information predict future image frames conditioned on given action sequences. This predicted scene evolution is driven by deterministic changes such as controlled motion on a robot platform, as well as stochastic changes such as rendering of manipulated objects or previously occluded regions. Our key insight is that the spatial location of these stochastic changes is itself learnable. We leverage this insight by jointly regressing both the deterministic next-state prediction and the spatial uncertainty map, then using the uncertainty map to guide a conditional diffusion process. We propose Decoupled Drift-Diffusion World Model (D3WM), which uses a transformer trained with a Gaussian negative-log-likelihood objective to produce both the deterministic next-state prediction and a spatial map of heteroscedastic aleatoric uncertainty. The learned uncertainty map then provides a structured spatial gate for a conditional diffusion model: deterministic regions are anchored to the predicted state, while uncertain regions, such as disocclusions or dynamic textures, are sampled by the diffusion process. We frame this decomposition under a variance-gated stochastic differential equation that separates deterministic drift from stochastic diffusion. D3WM shows improved results over competitive baselines in two distinct types of action spaces: robotic tabletop manipulation and camera motion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI