日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生成的レンダリングarXiv:2512.25075

SpaceTimePilot:時空間を分離した動的シーンの生成的レンダリング

SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画からカメラ視点と動きのタイミングを独立に操作し、任意の時空間でシーンを再レンダリングできる動画拡散モデルを提案。時間制御のための時間ワープ学習法と新データセットCamxTimeを導入した。

詳しい要約

1. どんなもの?

- 単眼動画を入力とし、camera viewpointとmotion sequenceを独立に操作して再レンダリングするvideo diffusion model「SpaceTimePilot」 - 生成過程でspace(camera)とtime(motion)をdisentangleし、連続的・任意のspace-time探索を可能にする - 出力動画のmotion sequenceをsource videoに対して明示的に制御するanimation time-embedding機構を導入 - 時空間のdual control精度向上のため、改良camera-conditioning機構と合成dataset「CamxTime」も提案

2. 先行研究と比べてどこがすごい?

- 先行研究ではspace(camera)とtime(motion)の制御が絡み合い、独立操作が困難だったのに対し、明示的なspace-time disentanglementを実現 - 同一dynamic sceneの連続的なtemporal variationを持つpaired video datasetが存在しない課題に対し、既存multi-view datasetを再利用するtemporal-warping training schemeを提案 - 初のsynthetic space-and-time full-coverage rendering dataset「CamxTime」を構築し、fully freeなspace-time video trajectoryを提供 - 実世界データと合成データの両方でprior workより強い結果を示したと主張

3. 技術・手法の肝は?

- diffusion processにanimation time-embedding機構を導入し、source videoに対する出力のmotion sequenceを明示制御 - temporal-warping training schemeにより、既存multi-view datasetを時間差を模した形に再利用してtemporal controlを監督 - 改良camera-conditioning機構でfirst frameからcameraを変更可能に - CamxTime dataset(space-and-time full-coverage rendering)を構築し、temporal-warping schemeとのjoint trainingでより精密なtemporal controlを実現

4. どうやって有効だと検証した?

- 実世界データ(real-world data)と合成データ(synthetic data)の両方でSpaceTimePilotを評価 - clearなspace-time disentanglementと、prior workと比較した強い結果を示したと報告 - 詳細な評価指標・定量結果は要旨からは不明

5. 議論はある?

- temporal-warping schemeとCamxTimeのjoint trainingがより精密なtemporal controlをもたらすと述べる - 限界・失敗事例・計算コスト・汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- temporal-warpingの基盤となる既存multi-view dataset(具体的名称は要旨からは不明) - 比較対象のprior work(具体的名称は要旨からは不明) - 関連手法としてvideo diffusion model、camera-conditioning、multi-view video生成の代表的研究(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhening Huang, Hyeonho Jeong, Xuelin Chen, Yulia Gryaditskaya, Tuanfeng Y. Wang, Joan Lasenby, Chun-Hao Huang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We present SpaceTimePilot, a video diffusion model that disentangles space and time for controllable generative rendering. Given a monocular video, SpaceTimePilot can independently alter the camera viewpoint and the motion sequence within the generative process, re-rendering the scene for continuous and arbitrary exploration across space and time. To achieve this, we introduce an effective animation time-embedding mechanism in the diffusion process, allowing explicit control of the output video's motion sequence with respect to that of the source video. As no datasets provide paired videos of the same dynamic scene with continuous temporal variations, we propose a simple yet effective temporal-warping training scheme that repurposes existing multi-view datasets to mimic temporal differences. This strategy effectively supervises the model to learn temporal control and achieve robust space-time disentanglement. To further enhance the precision of dual control, we introduce two additional components: an improved camera-conditioning mechanism that allows altering the camera from the first frame, and CamxTime, the first synthetic space-and-time full-coverage rendering dataset that provides fully free space-time video trajectories within a scene. Joint training on the temporal-warping scheme and the CamxTime dataset yields more precise temporal control. We evaluate SpaceTimePilot on both real-world and synthetic data, demonstrating clear space-time disentanglement and strong results compared to prior work. Project page: https://zheninghuang.github.io/Space-Time-Pilot/ Code: https://github.com/ZheningHuang/spacetimepilot

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI