日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.18810

MergeVLA: スキル横断モデルマージによる汎用視覚言語行動エージェント

MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent

シェア:XThreadsFacebookLINEはてブBluesky

異なるタスクで訓練したVLAエキスパートを統合する際の非マージ性の原因を分析し、タスクマスク付きLoRAとクロスアテンションのみの行動エキスパートで設計段階からマージ可能にしたVLAアーキテクチャを提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを複数スキルへ拡張するための、マージ志向のアーキテクチャ「MergeVLA」を提案する研究。 - 異なるタスクで学習した VLA expert を直接マージすると成功率がほぼゼロになる問題を出発点とする。 - 設計段階から mergeability を保つことで、単一モデルで複数スキルを扱う generalist VLA agent を目指す。 - タスク未知時には test-time task router により初期観測からタスクを推定する。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は単一 embodiment や単一タスクファミリの fine-tuning では高性能だが、multi-skill 設定への拡張が困難であった。 - 既存の merging 手法では、異なるタスクで学習した VLA expert の直接マージがほぼゼロ成功率になることを示す。 - 本研究はパラメータの経験的分解により非マージ性の原因を二点に特定し、既存 merging 手法の限界を超える設計を提案する。 - 個別に fine-tune した expert と同等以上、かつタスク・embodiment・環境をまたぐ汎化を示す点が新しい。

3. 技術・手法の肝は?

- VLM backbone 側: sparsely activated LoRA adapters を task masks で切り替え、一貫したパラメータを保持し irreconcilable conflicts を低減する。 - Action expert 側: self-attention を排し cross-attention-only blocks に置換、specialization を局所化し composable にする。 - これにより inter-block dependencies によるタスク情報の層間拡散を防ぎ、modular recombination を可能にする。 - タスク未知時: test-time task router が初期観測から適切な task mask と expert head を選択し、unsupervised にタスク推論する。

4. どうやって有効だと検証した?

- LIBERO、LIBERO-Plus、RoboTwin、および実機 SO101 robotic arm での multi-task 実験で評価。 - 個別に fine-tune した expert と同等かそれを上回る性能を達成。 - タスク、embodiment、環境をまたぐ robust な generalization を示したと報告。 - 詳細な実験設定やベースラインの数値は要旨からは不明。

5. 議論はある?

- 非マージ性の原因として、(1) LoRA adapters のタスク特異的な発散、(2) action experts の self-attention feedback による inter-block dependencies を挙げる。 - これらを設計で回避するという主張だが、他の要因や限界については要旨からは不明。 - test-time task router の誤推定時の影響や、タスク数増加時のスケーラビリティは要旨からは不明。 - 実機 SO101 を含む評価は示されるが、議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される既存の model merging 手法(LoRA merging 等の一般的な merging 手法)。 - VLA の fine-tuning 基盤である Vision-Language-Action モデル(VLM backbone を用いる VLA 研究)。 - 評価に用いられた LIBERO、LIBERO-Plus、RoboTwin の関連論文。 - LoRA や sparse activation、cross-attention 設計に関する関連研究。 - test-time task inference / task router に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

分類: cs.RO

原文アブストラクト

Recent Vision-Language-Action (VLA) models reformulate vision-language models by tuning them with millions of robotic demonstrations. While they perform well when fine-tuned for a single embodiment or task family, extending them to multi-skill settings remains challenging: directly merging VLA experts trained on different tasks results in near-zero success rates. This raises a fundamental question: what prevents VLAs from mastering multiple skills within one model? With an empirical decomposition of learnable parameters during VLA fine-tuning, we identify two key sources of non-mergeability: (1) Finetuning drives LoRA adapters in the VLM backbone toward divergent, task-specific directions beyond the capacity of existing merging methods to unify. (2) Action experts develop inter-block dependencies through self-attention feedback, causing task information to spread across layers and preventing modular recombination. To address these challenges, we present MergeVLA, a merging-oriented VLA architecture that preserves mergeability by design. MergeVLA introduces sparsely activated LoRA adapters via task masks to retain consistent parameters and reduce irreconcilable conflicts in the VLM. Its action expert replaces self-attention with cross-attention-only blocks to keep specialization localized and composable. When the task is unknown, it uses a test-time task router to adaptively select the appropriate task mask and expert head from the initial observation, enabling unsupervised task inference. Across LIBERO, LIBERO-Plus, RoboTwin, and multi-task experiments on the real SO101 robotic arm, MergeVLA achieves performance comparable to or even exceeding individually finetuned experts, demonstrating robust generalization across tasks, embodiments, and environments. Project page: https://mergevla.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI