日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D世界モデリングarXiv:2605.15843

WorldAct: モノリシックな3D世界をインタラクティブ対応のオブジェクト中心シーンへ変換

WorldAct: Activating Monolithic 3D Worlds into Interactive-Ready Object-Centric Scenes

シェア:XThreadsFacebookLINEはてブBluesky

生成された静的な3D世界を、編集可能で物理インタラクション可能なオブジェクト中心のシーンに変換するフレームワークを提案。

詳しい要約

1. どんなもの?

- 生成ベースの3D世界モデル(例:Marble)が出力する静的なモノリシック3D環境を、編集可能でインタラクション可能なシーンに変換するフレームワークWorldActを提案。 - マルチモーダルエージェントを用いてシーンを分解し、操作可能なオブジェクトを特定、オブジェクトレベルのメッシュを再構成、背景を3Dインペインティングで復元する。 - 結果として、オブジェクト単位の編集、衝突を考慮した操作、身体性タスクの実行が可能になる。

2. 先行研究と比べてどこがすごい?

- 従来の生成3D世界モデル(Marbleなど)は、静的なモノリシック資産を出力し、編集性や物理的インタラクションが限定的だった。 - WorldActは、生成された世界をオブジェクト中心のシーンに変換することで、没入型コンテンツ作成や身体性シミュレーションに適した編集・操作を可能にする点が新しい。 - グローバルなシーン整合性を保ちつつ、オブジェクトレベルの編集と衝突対応操作を実現する点が先行研究と異なる。

3. 技術・手法の肝は?

- マルチモーダルエージェントがシーン分解をガイドし、操作可能なオブジェクトを特定する。 - 特定されたオブジェクトに対して、幾何学的に整合したオブジェクトレベルのメッシュを再構成する。 - 残りの背景領域を3Dインペインティングによって復元する。 - これにより、オブジェクト単位の編集、衝突を考慮した操作、身体性タスク実行を可能にする。

4. どうやって有効だと検証した?

- 実験により、WorldActが元の生成シーンよりも豊かなインタラクションシナリオを実現できることを示した。 - 具体的な評価指標やデータセット、比較手法の詳細は要旨からは不明。

5. 議論はある?

- 生成された3D世界を編集可能かつインタラクティブにする実用的な道筋を示唆している。 - 限界や課題、今後の議論については要旨からは不明。

6. 次に読むべき論文は?

- Marble(生成3D世界モデルの例として参照) - 3D inpainting(背景復元に使用) - マルチモーダルエージェント(シーン分解に使用) - 身体性シミュレーション(応用先として言及)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jichen Hu, Jiawei Guo, Jiazhong Cen, Chen Yang, Sikuang Li, Wei Shen

分類: cs.CV

原文アブストラクト

Recent 3D world modeling systems based on generative scene synthesis, such as Marble, can create coherent and explorable 3D environments, yet their outputs are typically static monolithic assets with limited editability and physical interaction. This restricts their use in immersive content creation and embodied simulation, where generated worlds must be actively modified and manipulated. To tackle this challenge, we present WorldAct, a framework that converts static generated 3D worlds into editable and interaction-ready scenes. WorldAct uses a multimodal agent to guide scene decomposition, identify actionable objects, reconstruct geometrically aligned object-level meshes for interaction, and restore the residual background via 3D inpainting. The resulting scenes support object-level editing, collision-aware manipulation, and embodied task execution while preserving global scene coherence. Experiments show that WorldAct enables richer interaction scenarios than the original generated scenes, suggesting a practical path toward editable and interactive 3D world models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI