日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4D再構成arXiv:2604.09877

Genie 4D: 意味的先行知識で導く4D動的シーン再構成

Genie 4D: Semantic-Prior-Guided 4D Dynamic Scene Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

手持ちスマホの映像から、意味的に接地され行動制御可能な4D世界モデルを構築するフレームワークを提案。リアルタイムの慣性ガウススプラッティングと意味的特徴を先行知識として用いた4Dバックボーンを組み合わせ、動的トラッキング精度と再構成品質を向上させた。

詳しい要約

1. どんなもの?

- 手持ちのスマートフォン撮影から、意味的に根拠づけられ、行動制御可能な4D世界モデルを構築するフレームワーク。 - 実時間visual-inertial Gaussian splattingフロントエンドでメートル幾何を取得。 - 凍結DINOv3特徴で正則化されたfeed-forward 4Dバックボーンを統合。 - 短いconditional diffusion refinerで高周波表面詳細を復元。 - 軽量latent-action headによりGenie-style world modelへ接続し、ユーザー行動下でシーンを展開可能。

2. 先行研究と比べてどこがすごい?

- feed-forwardベースラインの線形時間計算量O(T)を維持しつつ、3D追跡精度(APD)と再構成完全性を改善。 - 意味的priorにより動的追跡中のidentity driftを抑制。 - 単一のconsumer GPU(RTX 5090)上で対話的に動作し、iPhone, Mac, Windows, Linuxの撮影クライアントに対応。 - 従来のregression backboneが平滑化して失う高周波表面詳細をdiffusion refinerで回復。

3. 技術・手法の肝は?

- 実時間visual-inertial Gaussian splattingフロントエンドでメートル幾何を取得。 - 凍結DINOv3特徴を構造priorとして用い、feed-forward 4Dバックボーンを正則化。 - 意味priorが動的追跡のidentity driftを抑制。 - 短いconditional diffusion refinerで高周波表面詳細を復元。 - 軽量latent-action headで4D状態をGenie-style world modelに接続し、JEPA-style next-embedding目的で学習。

4. どうやって有効だと検証した?

- Point OdysseyおよびTUM-Dynamicsベンチマークで評価。 - feed-forwardベースラインの線形時間計算量O(T)を維持しつつ、3D追跡精度(APD)と再構成完全性を改善。 - 単一のconsumer GPU(RTX 5090)上で対話的に動作し、iPhone, Mac, Windows, Linuxの撮影クライアントから実行可能。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Genie-style world model - JEPA-style next-embedding objective - DINOv3 - Gaussian splatting - Point Odyssey - TUM-Dynamics

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiru Yang, Zhuojie Wu, Nishant Kumar Singh, Max Schulthess

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

At the intersection of computer vision and robotic perception, 4D reconstruction of dynamic scenes connects low-level geometric sensing with high-level semantic understanding. We present Genie 4D, a framework that turns hand-held phone capture into a semantically grounded, action-controllable 4D world model. Genie 4D couples a real-time visual-inertial Gaussian splatting front-end for metric geometry with a feed-forward 4D backbone regularized by frozen DINOv3 features acting as structural priors. The semantic priors suppress identity drift during dynamic tracking, while a short conditional diffusion refiner recovers high-frequency surface detail that regression backbones smooth away. Finally, a lightweight latent-action head exposes the reconstructed 4D state to a Genie-style world model trained with a JEPA-style next-embedding objective, so that the scene can be rolled forward under user actions. On the Point Odyssey and TUM-Dynamics benchmarks, Genie 4D retains the linear time complexity O(T) of feed-forward baselines while improving 3D tracking accuracy (APD) and reconstruction completeness, and it runs interactively on a single consumer GPU (RTX 5090) from iPhone, Mac, Windows, and Linux capture clients. Genie 4D offers a practical, semantic-prior-guided path toward physically grounded world models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI