日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.02055

Align-Then-stEer:統一潜在ガイダンスによる視覚-言語-行動モデルの適応

Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルを下流タスクに適応させる際、事前学習との行動分布のずれを統一潜在空間でのアライメントと生成過程のガイダンスで解消し、少ないデータで効率的に微調整する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを下流タスクへ適応させるためのデータ効率の良い plug-and-play な適応フレームワーク ATE (Align-Then-stEer)。 - 対象は cross-embodiment および cross-task の manipulation。 - 事前学習済み VLA の action distribution と下流タスクのそれとの不一致を緩和することを狙う。 - simulation と real world の両方で評価。

2. 先行研究と比べてどこがすごい?

- 代表的な VLA の直接 fine-tuning と比較して、simulation で平均 multi-task success rate を最大 9.8% 改善。 - real-world の cross-embodiment 設定で 32% の success rate 向上。 - 大量データと計算を要する従来の fine-tuning に対し、データ効率が良く軽量な適応を実現すると主張。 - 特定モデルに依存しない plug-and-play な枠組みである点が特徴。

3. 技術・手法の肝は?

- まず action space の不一致を unified latent space の構築で align。 - reverse KL divergence で制約した variational autoencoder により、adaptation actions を pre-training action latent distribution の modes に埋め込む。 - 次に fine-tuning 時、diffusion- または flow-based VLA の生成過程を guidance mechanism で steer し、出力分布を target domain へ寄せる。 - align と steer の二段階構成が肝。

4. どうやって有効だと検証した?

- simulation および real world の両方で cross-embodiment と cross-task manipulation の実験を実施。 - 代表的な VLA の直接 fine-tuning との比較で multi-task success rate を評価。 - simulation で最大 9.8%、real-world cross-embodiment で 32% の success rate 向上を報告。 - 詳細な実験設定・ベースライン名は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 主張として、新規ロボットプラットフォームやタスクへの VLA 展開の実用性を高める汎用かつ軽量な解と位置づけ。 - 限界や失敗ケース、guidance の感度などに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される代表的な VLA モデル(具体的名称は要旨からは不明)。 - diffusion-based VLA および flow-based VLA の関連研究。 - variational autoencoder と reverse KL divergence を用いた latent alignment の関連研究。 - cross-embodiment manipulation および cross-task manipulation の適応研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Zhang, Chenwei Wang, Ouyang Lu, Yuan Zhao, Yunfei Ge, Zhenglong Sun, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models pre-trained on large, diverse datasets show remarkable potential for general-purpose robotic manipulation. However, a primary bottleneck remains in adapting these models to downstream tasks, especially when the robot's embodiment or the task itself differs from the pre-training data. This discrepancy leads to a significant mismatch in action distributions, demanding extensive data and compute for effective fine-tuning. To address this challenge, we introduce \textbf{Align-Then-stEer (\texttt{ATE})}, a novel, data-efficient, and plug-and-play adaptation framework. \texttt{ATE} first aligns disparate action spaces by constructing a unified latent space, where a variational autoencoder constrained by reverse KL divergence embeds adaptation actions into modes of the pre-training action latent distribution. Subsequently, it steers the diffusion- or flow-based VLA's generation process during fine-tuning via a guidance mechanism that pushes the model's output distribution towards the target domain. We conduct extensive experiments on cross-embodiment and cross-task manipulation in both simulation and real world. Compared to direct fine-tuning of representative VLAs, our method improves the average multi-task success rate by up to \textbf{9.8\%} in simulation and achieves a striking \textbf{32\% success rate gain} in a real-world cross-embodiment setting. Our work presents a general and lightweight solution that greatly enhances the practicality of deploying VLA models to new robotic platforms and tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI