日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.20012

具現化ミッドトレーニング:視覚言語モデルと視覚言語行動モデルのギャップを埋める

EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)をロボット行動データに適応させる中間学習手法を提案し、操作ベンチマークで性能向上を確認した。

詳しい要約

1. どんなもの?

- Vision-Language-Action Models (VLAs) は Vision-Language Models (VLMs) の視覚・言語能力を継承するが、既製の VLMs は embodied 領域に適応していない。 - 本研究は EmbodiedMidtrain を提案し、VLM と VLA のギャップを埋める。 - VLA データは VLM 分布から離れたコンパクトな領域を占め、VLM データソース間・内でアライメント度が大きく異なることを特徴づける。 - 軽量な学習可能 proximity estimator を用いて VLM プールから VLA に最も整合する候補を選び、curated mixture で VLM を mid-train してから下流 VLA fine-tuning を行う。

2. 先行研究と比べてどこがすごい?

- 従来の VLAs は embodied 領域に適応していない off-the-shelf VLMs から構築され、下流性能が制限されていた。 - 本研究は VLM と VLA のデータ分布ギャップを初めて特徴づけ、mid-training データエンジンを提案。 - 3つの robot manipulation ベンチマークで、異なる VLM バックボーンにわたり一貫した性能向上を達成。 - より大きなモデル規模と訓練予算で訓練された expert VLAs や off-the-shelf VLMs に匹敵する結果を実現。

3. 技術・手法の肝は?

- VLM と VLA のデータ分布ギャップを分析し、VLA データが VLM 分布から離れたコンパクト領域を占めることを示す。 - 軽量な学習可能 proximity estimator を活用した mid-training データエンジンを構築。 - 大規模 VLM プールから VLA に最も整合する候補を選択し、curated mixture を作成。 - この mixture で VLM を mid-train した後、下流 VLA fine-tuning を実施。

4. どうやって有効だと検証した?

- 3つの robot manipulation ベンチマークで実験。 - 異なる VLM バックボーンにわたり mid-training が一貫して性能を向上させることを確認。 - expert VLAs やより大きなモデル規模・訓練予算の off-the-shelf VLMs と競合する結果を達成。 - 追加分析で、mid-training が VLA fine-tuning のより強い初期化を提供し、利得が初期ステップから現れ訓練を通じて拡大することを示す。 - データエンジンが dataset-level と sample-level のアライメント信号を捉え、テキスト中心タスクより空間推論を優先しつつ VLM データの多様性を保持することを確認。

5. 議論はある?

- mid-training は VLA fine-tuning の初期化を強化し、利得が訓練初期から現れ拡大する。 - データエンジンは dataset-level と sample-level のアライメント信号を捉え、空間推論を優先しつつ VLM データの多様性を保持。 - コード、データ、モデルを公開予定。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: expert VLAs, off-the-shelf VLMs。 - 関連手法: Vision-Language-Action Models (VLAs), Vision-Language Models (VLMs), mid-training, proximity estimator。 - 同分野の定番: robot manipulation benchmarks, VLA fine-tuning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

分類: cs.CV, cs.AI, cs.CL

原文アブストラクト

Vision-Language-Action Models (VLAs) inherit their visual and linguistic capabilities from Vision-Language Models (VLMs), yet most VLAs are built from off-the-shelf VLMs that are not adapted to the embodied domain, limiting their downstream performance. In this work, we propose EmbodiedMidtrain to bridge the gap between VLMs and VLAs. We first characterize the data distribution gap between them, showing that VLA data occupy compact regions that are largely separated from the broader VLM distribution, while the degree of alignment varies substantially both across and within VLM data sources. Then, we build a mid-training data engine that leverages a lightweight learnable proximity estimator to select the most VLA-aligned candidates from a large VLM pool, and mid-trains the VLM on this curated mixture before downstream VLA fine-tuning. Experiments on three robot manipulation benchmarks show that mid-training consistently improves performance across different VLM backbones, achieving results competitive with expert VLAs and off-the-shelf VLMs trained with larger model scale and training budgets. Further analysis reveals that mid-training provides a stronger initialization for VLA fine-tuning, with gains emerging from the earliest steps and widening throughout training. Moreover, the data engine captures both dataset-level and sample-level alignment signals, favoring spatial reasoning over text-centric tasks while preserving the diversity of the VLM data. We will release all code, data and models for future research.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI