日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2511.09057

PAN: 汎用的で対話可能な長期的世界シミュレーションのための世界モデル

PAN: A World Model for General, Interactable, and Long-Horizon World Simulation

シェア:XThreadsFacebookLINEはてブBluesky

LLMベースの潜在ダイナミクスと動画拡散デコーダを組み合わせ、言語で指定した行動に応じて多様な環境の未来を長期的にシミュレーションする世界モデルPANを提案。

詳しい要約

1. どんなもの?

- 汎用・対話可能・長期的な world model「PAN」の提案 - 履歴と自然言語 action を条件に、将来の world state を高品質 video simulation で予測 - 多様な domain を対象に open-domain で action-conditioned な simulation を目指す - 構成は Generative Latent Prediction (GLP) architecture - LLM ベースの autoregressive latent dynamics backbone - video diffusion decoder で知覚的に精細で時間的に一貫した観測を再構成 - latent space での reasoning(imagination)と実現可能な world dynamics(reality)の統合を狙う

2. 先行研究と比べてどこがすごい?

- 従来の video generation model は prompt-to-full-video 方式で、causal control・interactivity・long-horizon consistency を欠く - 既存の world modeling は physical・game・3D-scene dynamics など限定 domain に集中し、depth と controllability が限られ、多様な環境や interaction format への汎化が困難 - PAN は多様な domain の大規模 video-action pair で学習し、open-domain かつ action-conditioned な simulation と長期的に整合した dynamics を実現 - 実験で action-conditioned world simulation・long-horizon forecasting・simulative reasoning において他の video generator や world model を上回る性能を示す

3. 技術・手法の肝は?

- Generative Latent Prediction (GLP) architecture を採用 - LLM ベースの autoregressive latent dynamics backbone - 大規模な text-based knowledge に simulation を接地 - 自然言語で指定された action を条件付け可能 - video diffusion decoder - 知覚的に精細で時間的に一貫した visual observation を再構成 - 履歴と自然言語 action を条件に将来の world state を予測 - 多様な domain にまたがる大規模 video-action pair で学習 - latent space の reasoning と実現可能な world dynamics を統合

4. どうやって有効だと検証した?

- 大規模 video-action pair での学習後、複数の実験を実施 - action-conditioned world simulation - long-horizon forecasting - simulative reasoning - 他の video generator および world model との比較で強い性能を確認 - 具体的な benchmark 名・指標・被験者評価などの詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界・失敗事例・計算コスト・評価指標の妥当性などは明示されていない - 主張として、general world model に向けた一歩と位置付け - 予測的 simulation による reasoning と acting への応用を想定

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究 - 既存の video generation model(prompt-to-full-video 方式) - physical・game・3D-scene dynamics に焦点を当てた既存 world model - 関連手法として挙げられている構成要素 - LLM ベースの autoregressive latent dynamics - video diffusion decoder - 同分野の定番として検討候補 - video diffusion model 全般 - action-conditioned video prediction - model-based reinforcement learning における world model

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: PAN Team, Jiannan Xiang, Yi Gu, Zihan Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Guangyi Liu, Yichi Yang, Kun Zhou, Davit Abrahamyan, Arif Ahmad, Ganesh Bannur, Junrong Chen, Kimi Chen, Mingkai Deng, Ruobing Han, Xinqi Huang, Haoqiang Kang, Zheqi Liu, Enze Ma, Hector Ren, Yashowardhan Shinde, Rohan Shingre, Ramsundar Tanikella, Kaiming Tao, Dequan Yang, Xinle Yu, Cong Zeng, Binglin Zhou, Zhengzhong Liu, Zhiting Hu, Eric P. Xing

分類: cs.CV, cs.AI, cs.CL, cs.LG

原文アブストラクト

A world model enables an intelligent agent to imagine, predict, and reason about how the world evolves in response to its actions, and accordingly to plan and strategize. While recent video generation models produce realistic visual sequences, they typically operate in the prompt-to-full-video manner without causal control, interactivity, or long-horizon consistency required for purposeful reasoning. Existing world modeling efforts, on the other hand, often focus on restricted domains (e.g., physical, game, or 3D-scene dynamics) with limited depth and controllability, and struggle to generalize across diverse environments and interaction formats. In this work, we introduce PAN, a general, interactable, and long-horizon world model that predicts future world states through high-quality video simulation conditioned on history and natural language actions. PAN employs the Generative Latent Prediction (GLP) architecture that combines an autoregressive latent dynamics backbone based on a large language model (LLM), which grounds simulation in extensive text-based knowledge and enables conditioning on language-specified actions, with a video diffusion decoder that reconstructs perceptually detailed and temporally coherent visual observations, to achieve a unification between latent space reasoning (imagination) and realizable world dynamics (reality). Trained on large-scale video-action pairs spanning diverse domains, PAN supports open-domain, action-conditioned simulation with coherent, long-term dynamics. Extensive experiments show that PAN achieves strong performance in action-conditioned world simulation, long-horizon forecasting, and simulative reasoning compared to other video generators and world models, taking a step towards general world models that enable predictive simulation of future world states for reasoning and acting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI