日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2606.26694

PhysEditWorld: 物理編集可能なワールドモデル向け大規模データセット

PhysEditWorld: A Large-Scale Dataset Toward Physics-Editable World Models

シェア:XThreadsFacebookLINEはてブBluesky

ゲームワールドモデルの物理ダイナミクスを制御可能にするため、重力パラメータを明示的に付与した大規模マルチモーダルデータセットを構築した。

詳しい要約

1. どんなもの?

- 物理パラメータ(主に重力)を編集可能なゲーム世界モデル向けの大規模マルチモーダルデータセット PhysEditWorld を提案。 - UE5 の replay-and-rendering pipeline で構築され、12 の cinematic シーン、100 時間以上の gameplay、6000 万フレーム以上の rollout を含む。 - RGB、depth、normals、audio、action traces、camera trajectory、engine states、semantic annotations、明示的な重力ラベルを同期して提供。

2. 先行研究と比べてどこがすごい?

- 従来の game world models は探索的・放浪的な軌道に限られ、物理ダイナミクスをデータからの暗黙的な相関として学習していた。 - 物理規則を明示的に操作する authored game environments への適用が困難だった。 - PhysEditWorld は同一初期状態・キャラクターコントローラ・行動系列・カメラポリシーを複数の重力設定で再生し、制御された帰属可能な物理変動を可能にする。

3. 技術・手法の肝は?

- UE5 の replay-and-rendering pipeline による replay paradigm を採用。 - 各シナリオで正規化された action trace を記録し、同じ初期状態・キャラクターコントローラ・行動系列・カメラポリシーを複数の重力設定で再生。 - これにより物理変動を制御・帰属可能にし、同期したマルチモーダル信号と明示的な重力ラベルを提供。

4. どうやって有効だと検証した?

- 生成ビデオモデルと世界理解モデルの両方で初期の utility studies を実施。 - PhysEditWorld が重力に忠実なダイナミクスモデリングを改善し、物理編集下での一貫性を高め、制御可能な世界モデリング研究のスケーラブルな基盤を提供することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。同分野の定番として、game world models、action-conditioned video generation、physics-informed world models に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bin Hu, Yanwen Ma, Jiehui Huang, Ziliang Zhang, Haoning Wu, Ruicheng Zhang, Yaokun Li, Zijun Wang, Yuechen Zhang, Chun-Mei Tseng, Hanhui Li, Shengju Qian, Jun Zhou, Kaipeng Zhang, Xiaodan Liang, Jiaya Jia, Xiu Li

分類: cs.CV

原文アブストラクト

Recent game world models can synthesize visually plausible, action-conditioned rollouts. However, their interaction behaviors often remain limited to exploratory or wandering trajectories, and physical dynamics are typically learned as implicit correlations from data rather than as controllable variables. This limitation hinders their applicability to authored game environments, where physical rules are deliberately designed and require explicit manipulation. We introduce PhysEditWorld, a multimodal dataset with physical parameters, with a primary focus on gravity in this initial version. At its core, PhysEditWorld is built upon a replay paradigm implemented with a UE5 replay-and-rendering pipeline. Each scenario records a normalized action trace and replays the same initial state, character controller, action sequence, and camera policy under multiple gravity configurations, enabling controlled and attributable physical variation. PhysEditWorld contains 12 cinematic UE5 scenes, over 100 hours of gameplay interactions, and more than 60 million rendered rollout frames. Each sample provides synchronized multimodal signals, including RGB, depth, normals, audio, action traces, camera trajectory, engine states, semantic annotations, and explicit gravity labels. We further conduct initial utility studies on both generative video models and world understanding models, demonstrating that PhysEditWorld enables improved gravity-faithful dynamics modeling, enhances consistency under physical edits, and provides a scalable foundation for controllable world modeling research.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI