日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4D再構成arXiv:2606.31388

1本の動画から1つの世界へ:単眼動画を物理的な4Dシーンに変換する

One Video, One World: Turning Monocular Video into Physical 4D Scenes

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から、インスタンス単位で分離され、物理シミュレーションに利用可能な4Dメッシュシーンを、学習なしで再構成するシステムOVOWを提案する。

詳しい要約

1. どんなもの?

単眼動画から、物理シミュレータやembodied AIで利用可能なinstance-levelかつsimulation-readyな4D mesh sceneを再構成する初のtraining-freeシステムOVOWを提案する。 - 出力はwatertight topology、instance分離、標準的な物理インターフェースを備える。 - 4段階のpipelineで構成される。 - 下流のphysics simulationやeditingにそのまま使える。 - structured Video-to-4D評価のための初のbenchmarkも確立する。

2. 先行研究と比べてどこがすごい?

既存の4D再構成はレンダリング品質は高いが、implicit fields、Gaussian primitives、point cloudsなどの出力はwatertight topology、instance分離、物理シミュレータ向け標準インターフェースを欠く。 - OVOWはこのギャップを埋め、simulation-readyな4D mesh sceneを生成する。 - 単眼動画上でbaselineより1〜2桁高速。 - 合成benchmark(staticおよび4D)でlayout・geometry精度が最良、photometric・semantic errorが最小。

3. 技術・手法の肝は?

4段階pipelineを採用する。 - vision-language modelが全instanceを発見・ラベル付け・motion分類する。 - category-aware reconstructionにより、rigid objectはper-instance mesh、deformable objectはtopology-consistent mesh sequenceを生成する。 - iterative render-match-optimize手順でmetric scaleと6-DoF pose trajectoryを復元する。 - physics-grounded assemblyでground contactとinter-object supportを強制する。 - 全motion(rigid/non-rigid)をcategory-specific priorやskeleton riggingなしのdirect vertex deformationでモデル化する。

4. どうやって有効だと検証した?

2つの合成benchmark(staticおよび4D)で評価する。 - OVOWは全baseline中で総合的なlayout・geometry精度が最良。 - photometric errorとsemantic errorが最小。 - 単眼動画上でbaselineより1〜2桁高速。 - 下流のphysics simulationにより物理的安定性を確認する。 - structured Video-to-4D評価用の初のbenchmarkを確立し、geometric correctness、instance separation、physical plausibilityの指標を導入する。

5. 議論はある?

要旨からは不明。 - 限界や失敗ケース、計算コスト、汎化性に関する議論は要旨に記載されていない。 - 下流タスクへの応用可能性やデータ合成エンジンとしての活用が示唆されるが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法は明示されていない。 - 同分野の定番として、4D reconstruction、Gaussian Splatting、NeRF、physics simulation、embodied AI関連の研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhao Chen, Boran Zhang, Mingjin Chen, Henghaofan Zhang, Saining Zhang, Congcong Zhu, Hao Zhao, Ruqi Huang, Zhihao Li, Yufei Wang

分類: cs.CV

原文アブストラクト

We introduce \textbf{OVOW}, the first training-free system that reconstructs \emph{instance-level, simulation-ready} 4D mesh scenes from a single monocular video. Recent 4D reconstruction achieves impressive rendering quality, but its outputs (\eg, implicit fields, Gaussian primitives, or point clouds) lack the watertight topology, instance separation, and standardized physical interfaces required by physics simulators and embodied AI. OVOW closes this gap with a four-stage pipeline: a vision-language model discovers, labels, and motion-classifies all instances; category-aware reconstruction yields per-instance meshes for rigid objects and topology-consistent mesh sequences for deformable ones; an iterative render-match-optimize procedure recovers metric scale and 6-DoF pose trajectories; and physics-grounded assembly enforces ground contact and inter-object support. Crucially, we model all motion, rigid and non-rigid, through direct vertex deformation without category-specific priors or skeleton rigging, producing watertight mesh scenes ready for downstream physics simulation and editing. We further establish the first benchmark for \emph{structured Video-to-4D} evaluation, with metrics for geometric correctness, instance separation, and physical plausibility beyond visual fidelity; the same pipeline doubles as a scalable engine for \emph{synthesizing} paired video-to-4D simulation data for future 4D world models and embodied AI. Across two synthetic benchmarks (static and 4D), OVOW attains the best overall layout and geometry accuracy and the lowest photometric and semantic error among all baselines, and on monocular video runs one to two orders of magnitude faster than the baselines, while downstream physics simulation confirms its physical stability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI