日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.22407

EMMA: 生成的視覚転送による実世界ロボットマニピュレーションの汎化

EMMA: Generalizing Real-World Robot Manipulation via Generative Visual Transfer

シェア:XThreadsFacebookLINEはてブBluesky

拡散Transformerでロボット操作動画を生成し、実データと混合してVLAポリシーを訓練することで、未知の視覚環境へのゼロショット汎化を実現した。

詳しい要約

1. どんなもの?

- 視覚言語行動(VLA)モデルの汎化を目的としたデータ拡張フレームワーク EMMA を提案 - 生成データエンジンと学習パイプラインを組み合わせる - 拡散 Transformer ベースの DreamTransfer で多視点一貫・幾何的に妥当な操作動画を生成 - 前景・背景・照明をプロンプトで編集しつつ3D構造を保持 - 実データと生成データのハイブリッド学習戦略 AdaMix を導入 - 実世界・シミュレーション双方で評価

2. 先行研究と比べてどこがすごい?

- 従来の動画生成手法と比較し、多視点一貫性・幾何精度・テキスト条件付け精度で大幅改善 - 大規模な外観多様化データ収集のコスト・労力を削減 - 実データのみの学習に対し、zero-shot 視覚設定で相対性能 92% 以上向上 - AdaMix 併用でさらに 17% 改善 - 具体的な比較対象名は要旨からは不明

3. 技術・手法の肝は?

- DreamTransfer: 拡散 Transformer ベースの多視点一貫・幾何的に根拠づけられた embodied manipulation 動画生成 - プロンプトによる前景・背景・照明の編集で3D構造と幾何妥当性を保持 - 実データと生成データのハイブリッド訓練集合を利用 - AdaMix: ポリシー性能に応じてサンプルを適応的に重み付けし、難しいサンプルを強調する学習戦略

4. どうやって有効だと検証した?

- DreamTransfer 生成動画を多視点一貫性・幾何精度・テキスト条件付け精度で従来動画生成手法と比較 - シミュレーションと実世界ロボット環境で合計1800回以上の試行 - 実世界 zero-shot 視覚設定で実データのみ学習比 92% 以上の相対性能向上 - AdaMix 追加でさらに 17% 改善を確認

5. 議論はある?

- 生成データによる VLA ポリシー汎化の有効性を示す - AdaMix が難サンプル強調で更なる改善をもたらす - 限界・失敗事例・計算コスト・生成データの品質依存性などの詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行 video generation 手法名は不明 - 関連手法として diffusion Transformer、VLA、embodied manipulation video generation、zero-shot visual generalization の定番研究を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhehao Dong, Xiaofeng Wang, Zheng Zhu, Yirui Wang, Yang Wang, Yukun Zhou, Boyuan Wang, Chaojun Ni, Runqi Ouyang, Wenkang Qin, Xinze Chen, Yun Ye, Guan Huang, Zhen Lu, Yue Yang

分類: cs.AI, cs.RO

原文アブストラクト

The generalization of vision-language-action (VLA) models heavily relies on diverse training data. However, acquiring large-scale data for robot manipulation across varied object appearances is costly and labor-intensive. To address this limitation, we introduce Embodied Manipulation Media Adaptation (EMMA), a framework for augmenting VLA policies that combines a generative data engine with an effective training pipeline. We introduce DreamTransfer, a diffusion Transformer-based architecture for generating multi-view consistent and geometrically grounded embodied manipulation videos. DreamTransfer enables visual editing of robot videos through prompts, allowing for changes to the foreground, background, and lighting while preserving their 3D structure and geometric validity. We also utilize a hybrid training set of real and generated data and propose AdaMix to enhance the training process. AdaMix is a training strategy that adaptively weights samples according to policy performance to emphasize challenging samples. Comprehensive evaluations demonstrate that videos created by DreamTransfer yield substantial improvements over previous video generation techniques in multi-view consistency, geometric accuracy, and text-conditioning precision. We conduct extensive evaluations with a total of more than 1800 trials in both simulated and real-world robotic environments. In real-world robotic tasks with zero-shot visual settings, our framework achieves a relative performance increase of over 92% compared to training with real data alone, and improves by an additional 17% with AdaMix, demonstrating its efficacy in enhancing policy generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI