日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/変形物操作arXiv:2605.31286

DeMaVLA: 汎用変形物操作のための視覚言語行動基盤モデル

DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

変形物(衣類など)の折りたたみを多様な物体・環境で行える視覚言語行動基盤モデルを提案し、実ロボットデモと人間介入データで訓練して汎用性を実証した。

詳しい要約

1. どんなもの?

- DeMaVLAは、変形可能物体の操作に特化したVision-Language-Action (VLA) 基盤モデル。 - 家庭環境での衣類折りたたみなど、多様な物体・タスク条件・環境に対応する汎用操作スキルの獲得を目指す。 - VLM backboneとaction expertを組み合わせ、flow matchingで連続行動生成を行う。 - 約5,000時間の実世界双腕デモで事前学習後、混合折りたたみデータで事後学習。

2. 先行研究と比べてどこがすごい?

- 既存VLAは物体カテゴリごとに個別ポリシーを訓練するか、単純なマルチタスク混合訓練でタスク干渉や性能低下を起こしていた。 - DeMaVLAはカテゴリ特化型折りたたみポリシーを超え、単一モデルで汎用的な変形操作を実現。 - 効率的なaction expert設計とhuman-in-the-loop Data Aggregation (DAgger) による修正学習を統合。

3. 技術・手法の肝は?

- VLM backboneにaction expertを付加し、flow matchingで連続行動を生成。 - action expertはVLM backboneのトランスフォーマー層を1層おきにプルーニングし、層ごとのアラインメントを保ちつつ訓練・推論コストを削減。 - 約5,000時間の実世界双腕デモで事前学習し、一般操作priorを獲得。 - 混合折りたたみデータ(自己収集デモ+実ロボット失敗からの修正軌跡)をhuman-in-the-loop DAggerパイプラインで集約し事後学習。

4. どうやって有効だと検証した?

- RoboTwin 2.0で競争力のある性能を達成。 - 家庭用折りたたみベンチマークで強い実世界結果を示す。 - スケーラブルな実世界データ、効率的行動生成、修正学習の価値を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- RoboTwin 2.0(ベンチマーク) - DAgger (Data Aggregation) パイプライン - flow matching を用いたVLAモデル - 変形物体操作に関する既存研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taiyi Su, Jian Zhu, Tianjian Wang, Youzhang He, Zitai Huang, Jianjun Zhang, Chong Ma, Hanyang Wang, Tianjiao Zhang, Munan Yin, Weihao Ding, Yi Xu

分類: cs.RO, cs.AI

原文アブストラクト

Real-world household robots require Vision-Language-Action (VLA) foundation models that can acquire reusable manipulation skills across diverse objects, task conditions, and household environments. Deformable-object folding is a representative challenge, requiring robots to handle clothing items from random initial states across varying categories, geometries, materials, and scenes. However, existing VLA systems commonly train separate policies for different object categories, while naively mixed multi-task training often suffers from task interference and degraded performance. To move beyond category-specific folding policies, we introduce DeMaVLA, a VLA foundation model for generalizable Deformable Manipulation. DeMaVLA adopts a VLM backbone with an action expert and formulates continuous action generation using flow matching. To improve efficiency, the action expert is constructed by pruning every other transformer layer while preserving layer-wise alignment with the VLM backbone, reducing training and inference cost. DeMaVLA is first pre-trained on approximately 5,000 hours of selected real-world dual-arm demonstrations to acquire general manipulation priors. It is then post-trained on mixed folding data that aggregates self-collected demonstrations and corrective trajectories from real-robot failures across multiple folding tasks through a human-in-the-loop Data Aggregation~(DAgger) pipeline. Experiments show that DeMaVLA achieves competitive performance on RoboTwin 2.0 and strong real-world results on our household folding benchmark. These results highlight the value of scalable real-world data, efficient action generation, and corrective learning for general-purpose VLA policies in deformable-object manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI