日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

仮想試着arXiv:2606.26092

TryOnCrafter: レンダリング可能な4D試着プロキシによるカメラ軌道を活用した現実的なビデオ仮想試着

TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy

シェア:XThreadsFacebookLINEはてブBluesky

従来のビデオ仮想試着はカメラ軌道に依存していたが、任意のカメラ移動に対応できる新しいタスクCaM-VVTを定義し、4D試着プロキシとDiTベースのフレームワークで解決する。

詳しい要約

1. どんなもの?

- カメラ制御可能なビデオ仮想試着(CaM-VVT)という新タスクを定義 - 従来のVVTはソースカメラ軌跡に受動的に依存し、全方向視点探索の対話的自由を欠く - TryOnCrafterはCaM-VVT向けの初の統一DiTベースフレームワーク - 任意のカメラ運動下で非剛体人体動態と背景の構造的同期を実現 - レンダラブル4D試着プロキシを導入し、人間と環境を明示的に分離

2. 先行研究と比べてどこがすごい?

- 従来のVVTは受動的なカメラ軌跡依存で、全方向視点探索の対話的自由がなかった - CaM-VVTは視点非依存のテクスチャ幻覚と、任意カメラ運動下での非剛体人体動態と背景の厳密な構造同期を要求 - TryOnCrafterは初のCaM-VVT向け統一DiTベースフレームワーク - 暗黙的ピクセル空間操作から脱却し、レンダラブル4D試着プロキシで人間と環境を明示的に分離 - プロキシは優れたテクスチャ密度と運動整合性を持つ構造基盤を提供

3. 技術・手法の肝は?

- レンダラブル4D試着プロキシ:高忠実度2D試着事前分布を衣服付き3DGSベースアバターに蒸留 - SMPL-Xシーケンスでアニメーション化し、再構成背景点群にメトリック整合 - プロキシアンカー付きビデオDiT:プロキシを主要幾何アンカーとして活用 - 合成ビデオを規定軌跡と物理的に妥当な変形に厳密に制約 - 4Dプロキシの編集可能性により、人間再配置、バレットタイム効果、360度軌道視聴などの応用が可能

4. どうやって有効だと検証した?

- 要旨からは不明

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法:Video Virtual Try-on (VVT)、DiT、3DGS、SMPL-X - 同分野の定番:VITON、ClothFlow、SMPL、NeRF

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Sun, Hao Yan, Mengting Chen, Quanjian Song, Yu Li, Juan Cao, Jinsong Lan, Xiaoyong Zhu, Bo Zheng, Sheng Tang

分類: cs.CV

原文アブストラクト

While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and $360$-degree orbital viewing.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI