日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2603.03482

ピクセル履歴を超えて:持続的3D状態を持つワールドモデル

Beyond Pixel Histories: World Models with Persistent 3D State

シェア:XThreadsFacebookLINEはてブBluesky

環境・カメラ・レンダラーの潜在3Dシーンを進化させる新しいワールドモデルPERSISTを提案し、空間記憶と幾何的一貫性を向上させた。

詳しい要約

1. どんなもの?

- 対話的な世界モデルで、ユーザーの行動に応じて動画を生成する。 - 既存モデルは3D表現を持たず、3D一貫性をデータから暗黙的に学習し、空間記憶が限られた時間窓に制限される。 - PERSISTは、潜在3Dシーン(環境、カメラ、レンダラー)の進化をシミュレートする新しいパラダイム。 - これにより、持続的な空間記憶と一貫した幾何学で新しいフレームを合成できる。

2. 先行研究と比べてどこがすごい?

- 既存手法と比較して、空間記憶、3D一貫性、長期的安定性が大幅に改善。 - 定量的指標と定性的ユーザー調査で実証。 - 単一画像から多様な3D環境を合成する新機能を実現。 - 3D空間での環境編集や指定を直接サポートし、細粒度で幾何学を意識した制御を可能に。

3. 技術・手法の肝は?

- 潜在3Dシーンの進化をシミュレートする世界モデル。 - 環境、カメラ、レンダラーをモデル化。 - これにより、持続的な空間記憶と一貫した幾何学を実現。 - 具体的な技術詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 定量的指標と定性的ユーザー調査を実施。 - 空間記憶、3D一貫性、長期的安定性の改善を実証。 - 単一画像からの多様な3D環境合成や3D空間での編集・指定といった新機能を実証。

5. 議論はある?

- 既存モデルの問題点として、3D一貫性の暗黙的学習と限られた空間記憶を指摘。 - PERSISTがそれらを解決し、より現実的なユーザー体験と下流タスク(エージェント訓練など)への障壁を減らす。 - 具体的な議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、対話的な世界モデル、動画生成モデル、3Dシーン表現(NeRFなど)が挙げられる。 - 同分野の定番として、World Models、Dreamer、NeRF、Gaussian Splattingなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samuel Garcin, Thomas Walker, Steven McDonagh, Tim Pearce, Hakan Bilen, Tianyu He, Kaixin Wang, Jiang Bian

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Interactive world models continually generate video by responding to a user's actions, enabling open-ended generation capabilities. However, existing models typically lack a 3D representation of the environment, meaning 3D consistency must be implicitly learned from data, and spatial memory is restricted to limited temporal context windows. This results in an unrealistic user experience and presents significant obstacles to downstream tasks such as training agents. To address this, we present PERSIST, a new paradigm of world model which simulates the evolution of a latent 3D scene: environment, camera, and renderer. This allows us to synthesise new frames with persistent spatial memory and consistent geometry. Both quantitative metrics and a qualitative user study show substantial improvements in spatial memory, 3D consistency, and long-horizon stability over existing methods, enabling coherent, evolving 3D worlds. We further demonstrate novel capabilities, including synthesising diverse 3D environments from a single image, as well as enabling fine-grained, geometry-aware control over generated experiences by supporting environment editing and specification directly in 3D space. Project page: https://francelico.github.io/persist.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI