日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/クロス身体操作arXiv:2608.06374

DyPES-VLA: 共有ダイナミクス事前知識と身体固有制御の学習によるクロス身体操作

DyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

異なるロボット身体間で共有できるダイナミクス事前知識を学習し、身体固有の行動空間で直接制御を出力するVLAモデルを提案。シミュレーションと実機で最高性能を達成した。

詳しい要約

1. どんなもの?

DyPES-VLAは、異なるロボットのembodiment間で共有されるダイナミクスの事前知識を学習し、各embodiment固有の制御を生成するクロスエンボディメントVLAモデルである。共有のdynamics priorsを捉えるためにVLMに未来予測目的を導入し、embodiment固有のMoEアクションヘッドを用いて、手動のアクション形式変換なしに各embodimentのネイティブなアクション空間で制御を出力する。

2. 先行研究と比べてどこがすごい?

既存のクロスエンボディメントVLAは、共有ダイナミクス事前知識の活用が不十分で、embodiment間の転移が制限される。また、アクションを共通形式に変換するための手動前処理が必要である。DyPES-VLAは、未来予測による共有ダイナミクス学習と、MoEによるembodiment固有制御を直接ネイティブ空間で行うことで、これらの限界を克服し、手動前処理を不要にした点が優れている。

3. 技術・手法の肝は?

手法の核心は2つ。第一に、VLMをクロスエンボディメントデータで未来予測目的により訓練し、共有クエリ表現が物体の動き、接触、相互作用によるシーン変化を捉えるようにする。第二に、embodiment固有のMoEアクションヘッドを導入し、共有のattention層で時間的アクション構造を捉えつつ、embodiment固有のfeed-forward expertsが各embodimentの運動学的制約と制御意味論を解決する。これにより、アクションの共通形式への手動整列なしで、ネイティブなアクション空間で制御を生成する。

4. どうやって有効だと検証した?

シミュレーションと実世界の評価で検証した。LIBEROで98.0%の成功率、RoboCasa-GR1で59.25%、RoboTwin 2.0で89.02%を達成し、state-of-the-art性能を示した。

5. 議論はある?

要旨からは、提案手法の限界や議論点は明示されていない。ただし、クロスエンボディメント学習におけるデータの多様性や、MoEのスケーラビリティ、実世界での汎化性などが潜在的な課題として考えられるが、要旨には記載がない。

6. 次に読むべき論文は?

要旨で参照されている先行研究や関連手法は明示されていないが、クロスエンボディメントVLAの分野では、RT-1、RT-2、OpenVLAなどのVLAモデルや、クロスエンボディメント学習のための手法(例えば、CrossFormerなど)が関連する。次に読むべき論文としては、これらの基盤となるVLAモデルや、クロスエンボディメント転移を扱った最近の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junfeng Li, Junjie He, Zhide Zhong, Yangyang Zheng, Pingyue Sheng, Jiayu Dong, Ruixin Li, Haodong Yan, Jiaguan Zhu, Tianran Zhang, Runze Yu, Wen Chen, Liuqing Yang, Yuxiang Gao, Haoang Li

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have become a powerful paradigm for robot manipulation, but training a single generalist policy for heterogeneous robot embodiments remains an open problem. Existing methods have two main limitations. First, they underuse dynamics priors shared across diverse visual and interaction data, limiting cross-embodiment transfer. Second, they require extensive manual preprocessing to convert embodiment-specific actions into a common format. To overcome these limitations, we propose DyPES-VLA, a cross-embodiment VLA that learns shared Dynamics Priors and Embodiment-Specific control. First, we learn shared dynamics priors by training the vision-language model (VLM) with a future-prediction objective on cross-embodiment data, driving the shared query representation to capture object motion, contact, and interaction-induced scene changes. Second, an embodiment-specific Mixture-of-Experts (MoE) action head translates these shared dynamics priors into executable controls directly in each embodiment's native action space, without manually pre-aligning heterogeneous actions into a common format. This head shares attention layers to capture common temporal action structures, while its embodiment-specific feed-forward experts resolve the unique kinematic constraints and control semantics of distinct embodiments. As a generalist policy, our \ourmethod achieves state-of-the-art performance across simulation and real-world evaluations, reaching 98.0% success on LIBERO, 59.25% on RoboCasa-GR1, and 89.02% on RoboTwin~2.0.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI