日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

バーチャル試着arXiv:2606.27773

ModaFlow: モダリティ認識フローマッチングによる高忠実度バーチャル試着

ModaFlow: Modality-Aware Flow Matching for High-Fidelity Virtual Try-On

シェア:XThreadsFacebookLINEはてブBluesky

テキストと画像のモダリティを区別してガイドするフローマッチング手法を提案し、バーチャル試着の品質を大幅に向上させた。

詳しい要約

1. どんなもの?

- 画像ベースのvirtual try-onのためのModaFlowを提案 - modality-aware flow matchingベースのフレームワーク - テキスト記述と衣服外観の精密なアライメントを実現 - 高忠実度のvirtual try-onを目指す - 既存手法の課題 - 衣服の細かいsemanticsの保持と多様な体型への適応の両立が困難 - 大きな衣服-身体のdeformation下での性能不足

2. 先行研究と比べてどこがすごい?

- 従来手法はmultimodal conditionsを均一に扱う - ModaFlowはmodality-aware guidance schemeを導入 - 視覚的garment embeddingsは決定論的で持続的な構造ガイダンスを提供 - テキストembeddingsはCFGで制御し、adaptive scalingとzero-initialized velocityを適用 - 2つの正則化損失でflow fieldの精度を向上 - mask manipulation strategyで多様なocclusionシナリオをシミュレート - 実験でSOTAを達成し、FIDをpairedで約30%、unpairedで20%削減

3. 技術・手法の肝は?

- modality-aware flow matchingを採用 - 視覚的garment embeddingsはpretrained image prompt adapterで抽出 - テキストembeddingsはgarment descriptionsから生成し、CFGで制御 - adaptive scalingとzero-initialized velocityを使用 - 正則化損失:cosine similarityとperceptual flow discrimination - 方向一致性と知覚的リアリズムを改善 - mask manipulation strategy:box, transparent, relaxed masksを確率的にサンプリング - 多様なocclusionシナリオをシミュレートし、unpaired設定でのロバスト推論を可能に

4. どうやって有効だと検証した?

- 定性的・定量的評価を実施 - pairedおよびunpairedベンチマークで評価 - FIDをpairedで約30%、unpairedで20%削減 - state-of-the-art結果を達成

5. 議論はある?

- 要旨からは不明 - 限界や議論については記述なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてflow matching, classifier-free guidance (CFG), virtual try-onの既存手法が挙げられる - 次に読むべき論文:flow matchingやvirtual try-onの最新手法(例:TryOnDiffusion, StableVITONなど)が考えられるが、要旨からは特定できない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Sai, Meysam Madadi, Sergio Escalera, Yong Xu

分類: cs.CV

原文アブストラクト

Image-based virtual try-on has emerged as a compelling task in e-commerce and augmented reality, yet existing methods struggle to simultaneously preserve fine garment semantics and adapt to diverse person body geometries under large clothing-body deformations. We present ModaFlow, a modality-aware flow-matching based framework for high-fidelity virtual try-on that achieves precise alignment between textual descriptions and garment appearance. Unlike prior methods that treat multimodal conditions uniformly, ModaFlow introduces a modality-aware guidance scheme: visual garment embeddings extracted by a pretrained image prompt adapter provide deterministic, persistent structural guidance, while textual embeddings generated from garment descriptions are controlled via classifier-free guidance (CFG) with adaptive scaling and zero-initialized velocity. To further enhance flow field accuracy, we propose two regularization losses, cosine similarity and perceptual flow discrimination, that jointly improve directional consistency and perceptual realism of the velocity field. Additionally, a mask manipulation strategy stochastically samples among box, transparent, and relaxed masks during training, simulating diverse occlusion scenarios and enabling robust inference under unpaired settings where only a box mask is available. Experiments show that ModaFlow achieves state-of-the-art results in both qualitative and quantitative evaluations, reducing FID by approximately 30% on paired and 20% on unpaired benchmarks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI