日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2607.02604

DynaWM: ベースVLA誘導による移動物体操作のための世界基盤モデル

DynaWM: A Base-VLA-Guided World Foundation Model for Moving-Object Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

移動物体操作のための世界モデルを提案。ベースVLAの性能を保ちつつ、Mamba-3とV-JEPA 2.1を用いて動作軌道を生成し、新ベンチマークDynaGrasp-32で評価した。

詳しい要約

1. どんなもの?

DynaWMは、移動物体操作のためのbase-VLA誘導型world foundation modelを提案する。既存のVLAモデルにworld modelを組み込むと、事前学習済みのbase VLAの性能が劣化する問題に対し、DynaWMはbase VLAのaction chunkをエンコードして条件付けに用いることで、様々なbase VLAチェックポイントに適応可能なモデルである。

2. 先行研究と比べてどこがすごい?

従来のend-to-endのforward/inverse dynamics model(world model)をbase VLAに統合する手法では、不適切なfine-tuningによりbase VLAの性能が低下する可能性があった。DynaWMはbase VLAを直接fine-tuningせず、その出力をaction-conditioningとして利用する点で、事前学習済みの性能を保ちながら移動物体操作に特化できる点が新しい。

3. 技術・手法の肝は?

DynaWMは、Mamba-3ベースのaction encoderでbase VLAのaction chunkをaction-conditioning表現に変換し、V-JEPA 2.1 vision encoderで多視点の観察履歴から特徴を抽出し、proprioceptive state encoderでロボットアームの状態をエンコードする。これらの特徴表現をflow-matching DiTに条件付けし、移動物体操作のための動作認識型action trajectoryを生成する。

4. どうやって有効だと検証した?

DynaGrasp-32ベンチマーク(6カテゴリの移動物体操作タスク:速度変化、軌道変化、複数物体操作を含む)とDynaGrasp-1600データセット(32シナリオ、1,600デモ、約1.53M画像)を構築し、fine-tuned base-VLAチェックポイントに対してSmolVLA、X-VLA、π0、π0.5と比較してそれぞれ7.19、45.31、1.88、10.94パーセントの改善、coarse-tunedでは35.13、44.06、35.69、26.13パーセントの改善を報告。アブレーションでは、visual encodingを除去すると成功率が27.50%低下、action conditioningを除去すると45.44%低下した。

5. 議論はある?

要旨からは、提案手法の限界や他のアプローチとの比較に関する議論は不明。ただし、base VLAのfine-tuningを避けることで性能劣化を防ぐ設計は有効だが、base VLAの出力品質に依存する可能性や、多様なタスクへの一般化についてはさらなる検証が必要かもしれない。

6. 次に読むべき論文は?

要旨で参照されているbase VLAモデル(SmolVLA、X-VLA、π0、π0.5)や、V-JEPA 2.1、Mamba-3、flow-matching DiTに関する論文が関連する。また、world modelやVLAの一般的な研究として、'Learning World Models for Robotic Manipulation'や'Vision-Language-Action Models'に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongkei Chang, Zhidong Deng

分類: cs.CV, cs.RO

原文アブストラクト

Although vision-language-action (VLA) models have received widespread attention, many challenges remain in manipulating dynamic moving objects. In most existing approaches, end-to-end forward or inverse dynamics models, i.e., world models, are incorporated into high-performance base VLA architectures, which may degrade the performance of well-pretrained base VLA models due to inappropriate fine-tuning. In this paper, we propose DynaWM, a base-VLA-guided world foundation model that adapts to a wide variety of fine-tuned and coarse-tuned base-VLA checkpoints for moving-object manipulation. DynaWM uses a Mamba-3-based action encoder to encode the base action chunk produced by the base VLA into an action-conditioning representation, a V-JEPA 2.1 vision encoder to extract features from multi-view observation history, and a proprioceptive state encoder to encode robotic-arm proprioceptive states. These feature representations jointly condition a flow-matching DiT to regenerate motion-aware action trajectories for moving-object manipulation. For systematic evaluation, we construct the DynaGrasp-32 benchmark, covering six categories of moving-object manipulation tasks, including velocity variation, trajectory variation, and multi-object manipulation, as well as the DynaGrasp-1600 dataset, which consists of 32 scenarios, 1,600 demonstration trajectories, and approximately 1.53M images. For fine-tuned base-VLA checkpoints, DynaWM achieves percentage improvements of 7.19, 45.31, 1.88, and 10.94 over SmolVLA, X-VLA, {\pi}0, and {\pi}0.5, respectively. For coarse-tuned base-VLA checkpoints, performance increases by 35.13, 44.06, 35.69, and 26.13 percentage, respectively. Ablation experiments show that visual encoding enhances success by 27.50%, while reducing success by 45.44% if action conditioning is removed.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI