日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/データ拡張arXiv:2605.02757

シミュレーションからリアリズムを見る:視覚言語行動データ拡張のための効率的なビデオ変換

Seeing Realism from Simulation: Efficient Video Transfer for Vision-Language-Action Data Augmentation

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで生成したVLA学習用ビデオを、タスクの意味と行動軌跡を保ちつつ現実的なビデオに変換する効率的なデータ拡張フレームワークを提案。拡散モデルの特徴再利用とコアセットサンプリングにより計算コストを抑え、実ロボットを含む複数ベンチマークで性能を向上させた。

詳しい要約

1. どんなもの?

- 目的: シミュレーション由来のVLA動画を現実的な訓練動画に変換する効率的なvideo augmentation frameworkを提案。 - 特徴: タスク意味とaction trajectoryを保持しつつ、visual domain gapを軽減。 - 対象: Vision-language-action (VLA) モデルの訓練データ拡張。

2. 先行研究と比べてどこがすごい?

- 従来: シミュレーションデータは安価で並列収集可能だが、visual domain gapと環境多様性の低さから実世界汎化が弱い。 - 提案: シミュレーション動画を現実的な訓練動画に変換し、タスク意味とaction trajectoryを保持。 - 利点: 大規模実世界動画への依存を減らしつつ、実世界汎化を改善。

3. 技術・手法の肝は?

- 構造的条件抽出: video semantic segmentationとvideo captioningをシミュレーションから実施。 - キャプション書き換え: 環境多様性を増すためにcaptionをrewrite。 - 条件付きvideo transfer model: 現実的な動画を合成。 - 効率化: diffusion feature-reuse mechanismで隣接timestep間のvideo tokensを再利用し生成を加速。 - 計算制限下: coreset sampling strategyで冗長性の少ないコンパクトなサブセットを選択。

4. どうやって有効だと検証した?

- データセット: Robotwin 2.0, LIBERO, LIBERO-Plus, 実ロボットプラットフォームで実験。 - 結果: RDT-1BをRobotwin 2.0で8%改善、π0をLIBERO-Plusで5.1%向上。 - 一貫した改善を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 関連研究: RDT-1B, π0, Robotwin 2.0, LIBERO, LIBERO-Plus。 - 同分野の定番: Vision-Language-Action (VLA) モデル、video transfer、diffusion models。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyu Hui, Xiaodi Huang, Siyu Xu, Yunke Wang, Shan You, Fei Wang, Tao Huang, Chang Xu

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language-action (VLA) models typically rely on large-scale real-world videos, whereas simulated data, despite being inexpensive and highly parallelizable to collect, often suffers from a substantial visual domain gap and limited environmental diversity, resulting in weak real-world generalization. We present an efficient video augmentation framework that converts simulated VLA videos into realistic training videos while preserving task semantics and action trajectories. Our pipeline extracts structured conditions from simulation via video semantic segmentation and video captioning, rewrites captions to diversify environments, and uses a conditional video transfer model to synthesize realistic videos. To make augmentation practical at scale, we introduce a diffusion feature-reuse mechanism that reuses video tokens across adjacent timesteps to accelerate generation, and a coreset sampling strategy that identifies a compact, non-redundant subset for augmentation under limited computation. Extensive experiments on Robotwin 2.0, LIBERO, LIBERO-Plus, and a real robotic platform demonstrate consistent improvements. For example, our method improves RDT-1B by 8% on Robotwin 2.0, and boosts $\pi_0$ by 5.1% on the more challenging LIBERO-Plus benchmark. Code is available at: https://github.com/nanfangxiansheng/Seeing-Realism-from-Simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI