日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成arXiv:2605.26316

E^3C: 3D環境メモリと自己・他者視点の人体ポーズ制御によるビデオ生成

E$^3$C: Video Generation with 3D Environmental Memory and Ego-Exo Human Pose Control

シェア:XThreadsFacebookLINEはてブBluesky

エージェントの自己中心視点ビデオ生成のための拡散フレームワークで、点群ベースの3Dメモリと自己・他者視点の人体ポーズ制御を組み合わせ、シーン構造と人間の動きを分離して高品質な生成を実現した。

詳しい要約

1. どんなもの?

- 一人称視点の動画生成を制御可能かつ物理的に整合させるフレームワーク E^3C を提案。 - シーン構造と人間の動きを分離した条件付けを構築。 - 半密な点群ベースの3Dメモリと外観記述子を利用。 - カメラ装着者と観察される人物の動きを別々に制御。 - Nymeria データセットで評価。

2. 先行研究と比べてどこがすごい?

- 一般的な動画合成と比べ、一人称視点の課題(視点変化、自己遮蔽、微妙な動き)に対処。 - 既存の強いベースラインより、視覚的忠実度、カメラ運動精度、物体一貫性、自己・他者人間制御が向上。 - シーン編集も可能。

3. 技術・手法の肝は?

- コンテキストフレームから半密な点群ベースの3Dメモリを構築。 - 各点に video-VAE 特徴から外観記述子を付与。 - メモリを目標視点にレンダリングして条件付け。 - 人間の動きは別途モデル化:観察される人物は skeleton renderings(exo human control)、装着者は3D body joints と 6DoF wrist motion(ego human control)。 - 装着者の身体部位が見えない場合に ego motion encoder で持続的な cross-attention tokens を生成。

4. どうやって有効だと検証した?

- Nymeria データセットで実験。 - 視覚的忠実度、カメラ運動精度、物体一貫性、自己・他者人間制御の指標で強いベースラインを上回る。 - 直感的なシーン編集も可能であることを示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究は明示されていない。 - 関連手法として video diffusion models、point cloud-based 3D memory、human pose control などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiao Gu, Lingni Ma, Adam W Harley, Richard Newcombe, Florian Shkurti, Julian Straub

分類: cs.CV, cs.AI

原文アブストラクト

Controllable and physically grounded egocentric video generation is essential for embodied agents to reason about how their own and others' actions manifest and change the world. Compared to generic video synthesis, egocentric generation is especially challenging: the camera is tightly coupled to the actor, leading to rapid viewpoint changes and frequent self-occlusions; the underlying actions are subtle, articulated, and often only partially visible; and both the people and the scene state must evolve consistently with the specified controls. We present E$^3$C, a controllable video diffusion framework for egocentric generation that builds structured and compact conditions disentangling persistent scene structure from human-driven dynamics. From context frames, E$^3$C constructs a semi-dense point cloud-based 3D memory and augments each point with appearance descriptors from video-VAE features. Rendering this memory into target viewpoints produces conditioning aligned with the target frames. Human dynamics are modeled separately. The observed people in the scene are controlled by skeleton renderings (exo human control), while the camera wearer is specified by their 3D body joints and 6DoF wrist motion (ego human control). To preserve ego human control when the wearer's body parts are invisible, we introduce an ego motion encoder that produces persistent cross-attention tokens. Experiments on Nymeria show that E$^3$C improves visual fidelity, camera-motion accuracy, object consistency, and ego & exo human control over strong baselines, while also enabling intuitive scene editing.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI