日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.23682

villa-X:Vision-Language-Actionモデルにおける潜在行動モデリングの強化

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLA事前学習に潜在行動(2フレーム間の動きの抽象表現)を組み込み、その学習方法と統合方法を改善したViLLAフレームワークvilla-Xを提案。未見の身体でもゼロショットで潜在行動計画を生成でき、シミュレーションと実機のグリッパー・多指ハンド操作で高性能を示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおいて latent action を活用する Vision-Language-Latent-Action (ViLLA) フレームワーク villa-X を提案 - latent action とは2フレーム間の動作を表す抽象表現 - 言語指示に従い新規状況へ汎化するロボット操作 policy の学習を目的とする - latent action の学習方法と VLA pre-training への組み込み方の両方を改善 - シミュレーションと実機の両方で評価

2. 先行研究と比べてどこがすごい?

- 近年の研究で latent action を VLA pre-training に取り込む動きがあるが、villa-X はその学習方法と組み込み方の両面を改良 - zero-shot で latent action plan を生成可能と主張 - 未見の embodiment や open-vocabulary な symbolic understanding にも対応できる点を特徴とする - 具体的な先行研究名や数値比較は要旨からは不明

3. 技術・手法の肝は?

- Vision-Language-Latent-Action (ViLLA) フレームワークを構築 - latent action の学習方法を改善 - latent action を VLA pre-training に組み込む方法を改善 - 2フレーム間の動作を抽象表現として扱う latent action modeling が中核 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- シミュレーションの SIMPLER における多様なタスクで評価 - gripper と dexterous hand の操作を含む2つの実世界ロボット環境で評価 - これらの設定で優れた性能を達成したと報告 - 具体的なベースラインや指標は要旨からは不明

5. 議論はある?

- villa-X を汎化可能なロボット操作 policy 学習のための原理的かつスケーラブルなパラダイムと位置づけ - 今後の研究の強い基盤になると主張 - 限界や失敗事例、計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- latent action を VLA pre-training に取り入れた先行研究(要旨では個別名の言及なし) - Vision-Language-Action (VLA) モデル全般の代表的研究 - SIMPLER ベンチマーク関連研究 - dexterous hand manipulation の研究 - open-vocabulary symbolic understanding 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoyu Chen, Hangxing Wei, Pushi Zhang, Chuheng Zhang, Kaixin Wang, Yanjiang Guo, Rushuai Yang, Yucen Wang, Xinquan Xiao, Li Zhao, Jianyu Chen, Jiang Bian

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as a popular paradigm for learning robot manipulation policies that can follow language instructions and generalize to novel scenarios. Recent works have begun to explore the incorporation of latent actions, abstract representations of motion between two frames, into VLA pre-training. In this paper, we introduce villa-X, a novel Vision-Language-Latent-Action (ViLLA) framework that advances latent action modeling for learning generalizable robot manipulation policies. Our approach improves both how latent actions are learned and how they are incorporated into VLA pre-training. We demonstrate that villa-X can generate latent action plans in a zero-shot fashion, even for unseen embodiments and open-vocabulary symbolic understanding. This capability enables villa-X to achieve superior performance across diverse simulation tasks in SIMPLER and on two real-world robotic setups involving both gripper and dexterous hand manipulation. These results establish villa-X as a principled and scalable paradigm for learning generalizable robot manipulation policies. We believe it provides a strong foundation for future research.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI