VLA/器用操作2026/3/1arXiv:2603.10158

視覚言語行動モデルのためのクロスハンド潜在表現

Cross-Hand Latent Representation for Vision-Language-Action Models

多様な器用なロボットハンド間で共有可能な統一潜在行動空間を導入し、標準的なVLAアーキテクチャに組み込むことで、クロスエンボディメント学習を可能にするXL-VLAを提案した。

詳しい要約

1. どんなもの？

- 視覚・言語・行動を統合する VLA モデル「XL-VLA」を提案。 - 多様な dexterous hand に共通の latent action space を導入。 - embodiment 不変の潜在空間を標準 VLA に組み込み可能。 - cross-embodiment 学習とデータ再利用を可能にする枠組み。

2. 先行研究と比べてどこがすごい？

- 従来の VLA は raw joint space で動作し、embodiment 間の差異を吸収しにくい。 - 新たな dexterous hand ごとに大規模データ収集が必要で非効率。 - XL-VLA は共有 latent space により cross-embodiment 学習を実現。 - 既存・新規データの効率的な再利用を可能にする点が優位。

3. 技術・手法の肝は？

- 多様な dexterous hand に共有される unified latent action space を構築。 - この embodiment-invariant な潜在空間を標準 VLA アーキテクチャに直接接続。 - 視覚・言語条件付き行動生成を latent 空間上で行う。 - 具体的な学習損失やアーキテクチャ詳細は要旨からは不明。

4. どうやって有効だと検証した？

- 実験結果により、XL-VLA が raw joint space で動作する baseline VLA モデルを一貫して上回ることを示す。 - cross-embodiment dexterous manipulation における有効性を確認。 - データセット名や評価タスクの詳細は要旨からは不明。

5. 議論はある？

- cross-embodiment 学習のスケーラビリティとデータ再利用の重要性を主張。 - 新たな embodiment が急速に登場する状況への対応を課題として提示。 - 限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている具体的な先行研究は明記されていない。 - 関連手法として VLA モデル（例: RT-2, OpenVLA）や cross-embodiment learning の研究が挙げられる。 - dexterous manipulation 向けの latent action space 研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guangqi Jiang, Yutong Liang, Jianglong Ye, Jia-Yang Huang, Changwei Jing, Rocky Duan, Pieter Abbeel, Xiaolong Wang, Xueyan Zou

分類: cs.RO

原文アブストラクト

Dexterous manipulation is essential for real-world robot autonomy, mirroring the central role of human hand coordination in daily activity. Humans rely on rich multimodal perception--vision, sound, and language-guided intent--to perform dexterous actions, motivating vision-based, language-conditioned manipulation systems for robots. However, training reliable vision-language-action (VLA) models for dexterous manipulation requires large-scale demonstrations across many robotic hands. In addition, as new dexterous embodiments appear rapidly, collecting data for each becomes costly and impractical, creating a need for scalable cross-embodiment learning. We introduce XL-VLA, a vision-language-action framework integrated with a unified latent action space shared across diverse dexterous hands. This embodiment-invariant latent space is directly pluggable into standard VLA architectures, enabling seamless cross-embodiment training and efficient reuse of both existing and newly collected data. Experimental results demonstrate that XL-VLA consistently outperforms baseline VLA models operating in raw joint spaces, establishing it as an effective solution for scalable cross-embodiment dexterous manipulation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧