日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成arXiv:2603.25420

VideoWeaver: 身体化エージェントのためのマルチモーダル・マルチビュー動画間変換

VideoWeaver: Multimodal Multi-View Video-to-Video Transfer for Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

複数カメラの視点を共有4D潜在空間で整合させ、拡散モデルを用いて視点一貫性のある動画変換を実現する初のマルチビューV2Vフレームワークを提案した。

詳しい要約

1. どんなもの?

- 本論文は、embodied AI のデモンストレーションを対象とした、マルチモーダルかつマルチビューの video-to-video (V2V) 変換フレームワーク VideoWeaver を提案する。 - 従来の V2V は単一視点のみを扱っていたが、embodied AI タスクは複数の同期カメラで撮影されることが多い。 - VideoWeaver は、単一視点の flow-based V2V モデルとして初期訓練され、その後マルチビューに拡張される。 - 共有 4D latent space に全視点を接地することで、広いベースラインや動的カメラ運動下でも視点間の外観一貫性を実現する。 - 異なる diffusion timestep で視点を訓練し、joint および conditional な視点分布を学習、既存視点から新規視点を自己回帰的に合成可能。

2. 先行研究と比べてどこがすごい?

- 従来の V2V は単一視点のみを独立に処理するため、視点間で外観が不一致になる問題があった。 - 標準的な transformer は cross-view attention の二次コストのためマルチビュー設定にスケールしない。 - VideoWeaver は初のマルチモーダル・マルチビュー V2V 変換フレームワークであり、視点一貫性を実現。 - 単一視点翻訳ベンチマークで SOTA と同等以上の性能を示しつつ、物理的・スタイル的に一貫したマルチビュー翻訳を初めて実現。 - 特に egocentric や heterogeneous-camera 設定など、ロボット学習の world randomization に重要な難設定に対応。

3. 技術・手法の肝は?

- 単一視点の flow-based V2V モデルとして初期訓練。 - マルチビュー拡張のため、feed-forward spatial foundation model である Pi3 から得られる共有 4D latent space に全視点を接地。 - これにより広いベースラインや動的カメラ運動下でも視点一貫性を促進。 - 固定カメラ数に依存しないスケーリングのため、視点を異なる diffusion timestep で訓練。 - joint および conditional な視点分布を学習し、既存視点を条件とした新規視点の自己回帰合成を可能にする。

4. どうやって有効だと検証した?

- 単一視点翻訳ベンチマークで SOTA と同等または優れた性能を確認。 - 初めて物理的・スタイル的に一貫したマルチビュー翻訳を実現。 - 特に egocentric および heterogeneous-camera 設定を含む挑戦的なマルチビュー翻訳で有効性を検証。 - これらの設定はロボット学習の world randomization に中心的。

5. 議論はある?

- 要旨からは、限界や議論の詳細は不明。 - マルチビュー一貫性やスケーラビリティに関する課題は解決されているが、計算コストや一般化性についての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照されている Pi3 (feed-forward spatial foundation model) を読むべき。 - 関連手法として、単一視点 V2V 翻訳の先行研究や、embodied AI 向けの video-to-video 変換、マルチビュー生成モデル、diffusion モデルを用いた視点合成に関する論文が挙げられる。 - 具体的な論文名は要旨に明記されていないため、同分野の定番として video-to-video translation、multi-view synthesis、diffusion models for robotics の文献を参照されたい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: George Eskandar, Fengyi Shen, Mohammad Altillawi, Dong Chen, Yang Bai, Liudi Yang, Ziyuan Liu

分類: cs.CV

原文アブストラクト

Recent progress in video-to-video (V2V) translation has enabled realistic resimulation of embodied AI demonstrations, a capability that allows pretrained robot policies to be transferable to new environments without additional data collection. However, prior works can only operate on a single view at a time, while embodied AI tasks are commonly captured from multiple synchronized cameras to support policy learning. Naively applying single-view models independently to each camera leads to inconsistent appearance across views, and standard transformer architectures do not scale to multi-view settings due to the quadratic cost of cross-view attention. We present VideoWeaver, the first multimodal multi-view V2V translation framework. VideoWeaver is initially trained as a single-view flow-based V2V model. To achieve an extension to the multi-view regime, we propose to ground all views in a shared 4D latent space derived from a feed-forward spatial foundation model, namely, Pi3. This encourages view-consistent appearance even under wide baselines and dynamic camera motion. To scale beyond a fixed number of cameras, we train views at distinct diffusion timesteps, enabling the model to learn both joint and conditional view distributions. This in turn allows autoregressive synthesis of new viewpoints conditioned on existing ones. Experiments show superior or similar performance to the state-of-the-art on the single-view translation benchmarks and, for the first time, physically and stylistically consistent multi-view translations, including challenging egocentric and heterogeneous-camera setups central to world randomization for robot learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI