日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.33125

共同訓練か後で統合か?共有アクションインターフェースによるVLAエキスパートの統合

Train Together or Merge Later? Unifying VLA Experts via a Shared Action Interface

シェア:XThreadsFacebookLINEはてブBluesky

タスクごとに独立訓練したVLAエキスパートを、アクションインターフェースを共通化した上でLoRA更新と文脈誘導型スパースマージにより統合し、マルチタスク性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

本論文は、独立に訓練された複数の VLA (vision-language-action) エキスパートを、モデルマージによって統合する手法 PolicyWeave を提案する。 - 背景: マルチタスク VLA ポリシーを co-training で構築すると、タスクごとに独立訓練した場合の性能に劣ることがある。 - 課題: 独立訓練したエキスパートをマージしても、強い個別エキスパートが強い統合ポリシーになるとは限らない。 - 原因の特定: タスク固有の action interface (action normalization と action encoder/decoder) の変更が互換性を損なう。 - 提案: merge-compatible な post-training と context-guided sparse merging を組み合わせた PolicyWeave。 - 評価: GR00T N1.5 と RoboCasa365 の 18 タスクで検証。

2. 先行研究と比べてどこがすごい?

先行研究との比較は以下の点で優位性を示す。 - co-training によるマルチタスク VLA は、タスクごとの独立訓練の性能に及ばないことがある。 - 独立訓練したエキスパートのモデルマージは自然なアプローチだが、強い個別エキスパートが強い統合ポリシーになるとは限らない。 - 本論文はその非互換性の一因が action interface (action normalization と action encoder/decoder) のタスク固有変更にあると特定。 - 共通の action interface を保持することで、4 つの static merging 手法の平均成功率を 17.0% から 52.8% に向上。 - PolicyWeave は SFT エキスパートで 64.7%、タスク固有 RL 後で 74.1% を達成し、joint RL の 60.7% を上回る。

3. 技術・手法の肝は?

技術の肝は以下の通り。 - merge-compatible post-training: 全エキスパートが共通の base policy の action interface を保持し、タスク適応は action model の隠れ層における LoRA 更新に限定。 - これにより既存のモデルマージ手法との互換性が向上。 - context-guided sparse merging: 初期の visual-language context を用いて各エキスパートの LoRA 更新をスコアリング。 - leave-one-layer-out ranking stability によりエキスパート集合を決定。 - 選択された更新の sparse weighted merge を形成し、現在のタスクに対して固定。 - 全エキスパートのマージによる無関係タスクからの干渉を抑制。

4. どうやって有効だと検証した?

以下の実験で有効性を検証。 - GR00T N1.5 と RoboCasa365 の 18 タスクを使用。 - ターゲットタスクのデモンストレーションの 10% のみを supervised fine-tuning (SFT) に使用。 - 共通 action interface の保持により、4 つの static merging 手法の平均成功率が 17.0% から 52.8% に向上。 - PolicyWeave は SFT エキスパートで 64.7%、タスク固有 reinforcement learning (RL) 後で 74.1% の成功率を達成。 - joint RL の 60.7% と比較。 - LIBERO-10 と AgileX Piper arm での追加評価により、長期的タスクと実世界マニピュレーションへの展開を支持。

5. 議論はある?

議論点は以下の通り。 - 独立訓練したエキスパートのマージにおける非互換性の原因として action interface のタスク固有変更を特定。 - 全エキスパートのマージは無関係タスクからの干渉を招く可能性がある。 - PolicyWeave は context-guided sparse merging でこの干渉を抑制。 - 限られたデモンストレーション (10% SFT) でも有効性を示す。 - タスク固有 RL 後の性能向上 (74.1%) は joint RL (60.7%) を上回る。 - ただし、要旨からは他の議論 (限界や失敗事例など) は不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法を挙げる。 - co-training によるマルチタスク VLA ポリシー構築。 - 独立訓練したエキスパートのモデルマージ。 - LoRA 更新。 - GR00T N1.5。 - RoboCasa365。 - LIBERO-10。 - AgileX Piper arm。 - supervised fine-tuning (SFT)。 - reinforcement learning (RL)。 - 同分野の定番として、vision-language-action (VLA) モデル、モデルマージ、マルチタスク学習に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhizhen Zhang, Yuxia Fu, Zijian Wang, Helen Huang, Yadan Luo

分類: cs.CV, cs.RO

原文アブストラクト

Co-training offers a straightforward way to build a multi-task vision-language-action (VLA) policy, but can fall short of the performance achieved by training each task independently. The challenge is to retain these task-specific gains in a multi-task policy without joint post-training. Combining independently trained experts through model merging is a natural approach, yet strong individual experts do not necessarily yield a strong merged policy. We identify one source of this incompatibility: task-specific changes to the action interface, comprising action normalization and the action encoder and decoder. We propose PolicyWeave, combining merge-compatible post-training with context-guided sparse merging. During post-training, all experts retain the common base policy's action interface, while task adaptation is restricted to LoRA updates in the hidden layers of the action model. This makes the experts more compatible with existing model merging methods. However, merging all experts can still introduce interference from unrelated tasks at deployment. PolicyWeave scores each expert's LoRA updates using the initial visual-language context, determines the expert set through leave-one-layer-out ranking stability, and forms a sparse weighted merge of the selected updates that remains fixed for current task. We evaluate PolicyWeave with GR00T N1.5 on 18 RoboCasa365 tasks, using only 10% of the target-task demonstrations for supervised fine-tuning (SFT). Preserving the shared action interface raises the average success rate across four static merging methods from 17.0% to 52.8%. PolicyWeave achieves 64.7% success with these SFT experts and 74.1% after task-specific reinforcement learning (RL), compared with 60.7% for joint RL. Further evaluations on LIBERO-10 and an AgileX Piper arm support the deployment of independently learned skills in long-horizon and real-world manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI