日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.26095

クロスエンボディメントロボット操作のための行動事前学習

Learning Action Priors for Cross-embodiment Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルにおいて、行動モジュールに事前に運動の事前知識を学習させる2段階トレーニング手法を提案し、クロスエンボディメント設定での性能を向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおいて、action module に motion prior を事前学習させる手法を提案。 - 二段階の学習フレームワークで、Stage 1 では flow-matching ベースの軽量な encoder-decoder action module を無条件の action trajectories のみから学習。 - Stage 2 では、学習した prior を decoder の再利用と early-stage latent distillation により VLA 学習に転移。 - さらに、学習済み encoder を history compressor として利用し、state-action histories を単一の temporal context token に要約。 - 13 の多様な cross-embodiment タスクで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは VLM backbone に action module を付加して全体を joint に最適化するため、action module が物理運動をほぼゼロから学習する必要があった。 - 提案手法は、VLA の cross-modal alignment 前に action module に motion prior を事前学習させることで、時間的 action dynamics と cross-modal alignment を同時に発見する負担を軽減。 - 特に cross-embodiment 設定において、より高速な収束、高い成功率、データ不足の実世界タスクでの大幅な性能向上を実現。 - Stage 1 の action data を増やすと、より汎化可能な action prior が得られ、下流の VLA 性能が直接向上することを示した。

3. 技術・手法の肝は?

- 二段階学習フレームワークを採用。 - Stage 1: flow-matching ベースの軽量 encoder-decoder action module を、視覚・言語トークンを処理せず、無条件の action trajectories のみから学習させ、cross-embodiment な時間的運動構造を獲得。 - Stage 2: 学習した prior を decoder の再利用と early-stage latent distillation により VLA 学習に転移。視覚言語特徴と action embedding space を整合させつつ、end-to-end の policy refinement を可能にする。 - 学習済み encoder は history compressor として機能し、state-action histories を単一の temporal context token に圧縮し、低コストで history-aware modeling を実現。

4. どうやって有効だと検証した?

- シミュレーションと実世界プラットフォームの両方で、13 の多様な cross-embodiment タスクにわたる広範な実験を実施。 - action priors なしの VLA 学習と比較して、より高速な収束、高い成功率、データ不足の実世界タスクでの大幅に強い性能を確認。 - Stage 1 の action data をスケールアップすると、より汎化可能な action prior が得られ、下流の VLA 性能が直接向上することを検証。

5. 議論はある?

- 要旨からは、提案手法の限界や失敗事例、計算コスト、他の prior 学習手法との比較に関する議論は明示されていない。 - ただし、Stage 1 の action data を増やすことで汎化性能が向上するという知見が示されており、データスケーリングの重要性が示唆される。 - 具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM) backbone、flow-matching、cross-embodiment robot manipulation が挙げられる。 - 次に読むべき論文としては、VLA モデル (例: RT-2, OpenVLA) や flow-matching を用いた action 生成 (例: Flow Matching for Generative Modeling) が考えられる。 - また、cross-embodiment 学習に関する研究 (例: Cross-Embodiment Robot Learning) も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Most Vision-Language-Action (VLA) models build on a Vision-Language Model (VLM) backbone by attaching an action module and optimizing the full policy jointly. This design inherits strong visual and linguistic priors from the VLM, but leaves the action module to learn physical motion almost from scratch. As a result, the policy lacks an explicit motion prior, forcing early optimization to simultaneously discover temporal action dynamics and cross-modal alignment, a challenge further amplified in cross-embodiment settings. In this work, we propose to pretrain the action module with motion priors before cross-modal VLA alignment. Specifically, we introduce a two-stage training framework that equips the action module with cross-embodiment temporal motion structure before VLA training begins. In Stage~1, a lightweight flow-matching-based encoder-decoder action module efficiently learns temporal motion structure solely from unconditioned action trajectories, without processing visual or language tokens. In Stage~2, this learned prior is transferred to VLA training through decoder reuse and early-stage latent distillation, aligning visual-language features with the action embedding space while still allowing end-to-end policy refinement. In addition, the trained encoder serves as a compact history compressor, summarizing state-action histories into a single temporal context token for history-aware modeling at negligible cost. Extensive experiments across 13 diverse cross-embodiment tasks on both simulated and real-world platforms validate the effectiveness of our approach. Compared with VLA training without action priors, our model achieves faster convergence, higher success rates, and substantially stronger performance on data-scarce real-world tasks. Moreover, scaling up the action data in Stage~1 yields a more generalizable action prior that directly improves downstream VLA performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI