日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2605.15391

PanoWorld: 幾何学的に一貫したパノラマ動画の世界モデリング

PanoWorld: Geometry-Consistent Panoramic Video World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

単一画像とキャプションから、3Dシーン状態を明示的に考慮した幾何学的に一貫した360度動画を生成する世界モデルを提案。深度と軌跡の一貫性を保つ軽量正則化を導入し、専用データセットで評価した。

詳しい要約

1. どんなもの?

- 単一画像とcaptionからgeometry-consistentな360°panoramic videoを生成するpanoramic video world model - 既存手法はvisual realismを主目的とし3D scene stateを明示的に制約しない - その結果depthの不整合・correspondenceの破綻・球面上の不自然なmotionが生じる - panoramic video生成をgeometry- and dynamics-consistentなlatent state modeling問題として定式化 - embodied AIのholistic spatial understanding要件を支えることを目指す

2. 先行研究と比べてどこがすごい?

- 既存のpanoramic video手法はvisual realismを最適化し3D scene stateを明示的に制約しない - 見た目は尤もらしいがdepth不整合・correspondence破綻・不自然なmotionを生む - 本研究はgeometry- and dynamics-consistentなlatent state modelingとして再定式化 - 事前学習済みperspective video world modelを基盤に軽量regularizerを導入 - 幾何的一貫性をprior手法より改善しつつcompetitiveなvisual realismを維持

3. 技術・手法の肝は?

- 事前学習済みperspective video world modelを基盤として利用 - 軽量regularizerを2つ導入 - depth consistency loss: pseudo ground-truth panoramic depthに対する制約 - trajectory consistency loss: 追跡点の3D world-frame位置を時間方向に監督 - spherical-geometry-aware adaptationをconditioningとpositional encodingに適用 - PanoGeoを導入 - depth・trajectory・prompt annotationが一貫した統合geometry-aware panoramic video dataset - 多様なreal/synthetic sourceを含み訓練とstratified evaluationに使用

4. どうやって有効だと検証した?

- PanoGeoを用いて訓練とstratified evaluationを実施 - 実験でprior panoramic generation手法よりgeometric consistencyが改善 - 同時にcompetitiveなvisual realismを維持することを示す - 具体的な評価指標・ベースライン・数値は要旨からは不明

5. 議論はある?

- panoramic video生成はgeometric modeling問題として扱う必要があると主張 - これによりembodied AIのholistic spatial understanding要件を支え得る - 限界・失敗事例・計算コスト・real/synthetic間のギャップなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 基盤としたpre-trained perspective video world model(具体名は要旨からは不明) - 比較対象のprior panoramic generation methods(具体名は要旨からは不明) - PanoGeo dataset - 関連するpanoramic video generationおよびvideo world modelの定番研究 - コード: https://github.com/ostadabbas/PanoWorld

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Le Jiang, Xiangyu Bai, Bishoy Galoaa, Shayda Moezzi, Caleb James Lee, Tooba Imtiaz, Edmund Yeh, Jennifer Dy, Yanzhi Wang, Sarah Ostadabbas

分類: cs.CV, cs.AI

原文アブストラクト

We present PanoWorld, a panoramic video world model that generates geometry-consistent 360$\degree$ video from a single image and a caption. Existing panoramic video methods optimize primarily for visual realism and do not explicitly constrain the underlying 3D scene state, producing outputs that appear plausible yet exhibit inconsistent depth, broken correspondences, and implausible motion across the spherical surface. We address this gap by framing panoramic video generation as a geometry- and dynamics-consistent latent state modeling problem rather than pure visual synthesis. Building on a pre-trained perspective video world model, we introduce two lightweight regularizers: a depth consistency loss against pseudo ground-truth panoramic depth, and a trajectory consistency loss that supervises the 3D world-frame positions of tracked points across time. We further apply spherical-geometry-aware adaptation to the conditioning and positional encoding. We additionally introduce PanoGeo, a unified geometry-aware panoramic video dataset with consistent depth, trajectory, and prompt annotations across diverse real and synthetic sources, used for both training and stratified evaluation. Experiments show that PanoWorld improves geometric consistency over prior panoramic generation methods while maintaining competitive visual realism, establishing that panoramic video generation must be treated as a geometric modeling problem to support the holistic spatial understanding requirements of embodied AI applications. Code is available at https://github.com/ostadabbas/PanoWorld.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI