日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.01586

VLAFlow: 共学習と未来潜在整合による視覚-言語-行動モデルの統合学習フレームワーク

VLAFlow: A Unified Training Framework for Vision-Language-Action Models via Co-training and Future Latent Alignment

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための視覚-言語-行動モデル(VLA)の学習手法を統一フレームワークで比較し、言語教師あり学習と未来潜在整合を組み合わせることで、異種データに対する転移性能が最も安定することを示した論文。

詳しい要約

1. どんなもの?

VLAFlowは、Vision-Language-Action models (VLAs)の訓練目的を統一的に比較するためのフレームワークである。約5,000時間の異種ロボットデータセットOXEMix(DROID、OpenX-Embodiment、OpenX-Augmented、RoboCOINから構成)を用いて、同一のpi0-styleアーキテクチャ、共有VLMバックボーン、アクションエキスパート、14次元アクション空間の下で、4つの訓練パラダイム(action-only modeling (MindPI)、language-supervised co-training (MindLPI)、future latent alignment (MindWPI)、それらの組み合わせ (MindLWPI))を評価する。

2. 先行研究と比べてどこがすごい?

既存のVLAモデルはアーキテクチャ、データ、アクション空間、評価プロトコルが異なるため、ロボットデータの事前学習パラダイムの効果を比較することが困難である。VLAFlowは、これらの変数を統一した条件下で制御比較を可能にする点が新しい。

3. 技術・手法の肝は?

手法の肝は、統一フレームワーク内で4つの訓練パラダイムを定義し、同一のpi0-styleアーキテクチャと共有VLMバックボーン、アクションエキスパート、14次元アクション空間を使用することである。各パラダイムは、action-only、言語教師ありco-training、future latent alignment、およびそれらの組み合わせを導入する。

4. どうやって有効だと検証した?

LIBERO、LIBERO-Plus、SimplerEnvの各ベンチマークで実験を行い、各パラダイムの転移性能を比較した。action-only事前学習は異種データに敏感である一方、言語教師ありはvision-language汎化を維持し、future latent alignmentは状態遷移とアクション結果のモデリングを改善することを示した。組み合わせたMindLWPIが最も安定した全体的転移性能を達成した。

5. 議論はある?

結果は、言語とfuture latent表現が中間制約として相補的に機能し、異種アクション監視をよりスムーズで転移可能にするというメタアクション空間の見方を支持する。しかし、具体的なメカニズムや一般化の限界については要旨からは不明であり、さらなる分析が必要である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、DROID、OpenX-Embodiment、OpenX-Augmented、RoboCOIN、pi0、LIBERO、LIBERO-Plus、SimplerEnvが挙げられる。次に読むべき論文としては、これらのデータセットやベンチマークの詳細、およびpi0アーキテクチャの原著論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoyang Xia, Fengfa Li, Hongjin Ji, Lei Ren, Fangxiang Feng, Kun Zhan, Yan Xie

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Vision-language-action models (VLAs) have recently advanced robotic manipulation, yet the effects of different robot-data pre-training paradigms remain difficult to compare because existing models often differ in architecture, data, action space, and evaluation protocol. We present VLAFlow (Vision-Language-Action Flow), a unified flow-matching framework for controlled comparison of VLA training objectives. Using a heterogeneous robot corpus, OXEMix, containing approximately 5,000 hours of data from DROID, OpenX-Embodiment, OpenX-Augmented, and RoboCOIN, we evaluate four paradigms under the same pi0-style architecture, shared VLM backbone, action expert, and 14-dimensional action space: action-only modeling (MindPI), language-supervised co-training (MindLPI), future latent alignment (MindWPI), and their combination (MindLWPI). Experiments on LIBERO, LIBERO-Plus, and SimplerEnv show that action-only pre-training is sensitive to heterogeneous data. In contrast, language supervision helps preserve vision-language generalization, while future latent alignment improves state-transition and action-outcome modeling. By combining both signals, MindLWPI achieves the most stable overall transfer performance across benchmarks. These results suggest a meta-action space view: language and future latent representations provide complementary intermediate constraints that make heterogeneous action supervision smoother and more transferable.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI