日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/パラメータ効率的ファインチューニングarXiv:2605.06175

VLA-GSE: 一般・専門エキスパートによるVLAのパラメータ効率的ファインチューニングの強化

VLA-GSE: Boosting Parameter-Efficient Fine-Tuning in VLA with Generalized and Specialized Experts

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのロボット制御への適応を改善するため、凍結バックボーンのスペクトル分解に基づき、一般エキスパートと専門エキスパートを導入したパラメータ効率的ファインチューニング手法を提案した。

詳しい要約

1. どんなもの?

- VLA-GSEは、Vision-Language-Action (VLA) モデルのパラメータ効率的ファインチューニング (PEFT) フレームワーク。 - ロボット制御への適応を改善しつつ、事前学習した視覚言語知識の保持を両立。 - 凍結バックボーンをスペクトル分解し、主要特異成分をgeneralized experts (共有エキスパート)、残差成分をspecialized experts (ルーティングエキスパート) に割り当てる。 - 全パラメータの2.51%のみを更新し、FFTや既存PEFTを上回る性能を達成。

2. 先行研究と比べてどこがすごい?

- Full fine-tuning (FFT) は下流ロボットデータで過学習し、事前学習した視覚言語能力を破滅的に忘却する問題がある。 - 既存のPEFTは事前学習知識を保持するが、ロボット制御タスクへの適応が不十分。 - VLA-GSEは、固定の学習可能パラメータ予算下で適応能力を向上させ、FFTとPEFTの両方の強力なベースラインを一貫して上回る。 - 特に、LIBERO-Plusでのゼロショット平均成功率81.2%を達成し、マルチモーダル理解ベンチマークでLoRAと同等の事前学習VLM能力を保持。

3. 技術・手法の肝は?

- 凍結バックボーンをスペクトル分解し、主要な特異成分をgeneralized experts (共有エキスパート) に、互いに素な残差成分をspecialized experts (ルーティングエキスパート) に割り当てる。 - この分解により、固定の学習可能パラメータ予算の下で適応能力を改善。 - 全モデルパラメータの2.51%のみを更新するパラメータ効率的なファインチューニングを実現。

4. どうやって有効だと検証した?

- LIBERO-Plusでのゼロショット平均成功率81.2%を達成。 - マルチモーダル理解ベンチマークでLoRAと同等の事前学習VLM能力保持を確認。 - 複数の分布シフト下での実世界マニピュレーション成功率を改善。 - 強力なFFTおよびPEFTベースラインと比較して一貫して優位性を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Full fine-tuning (FFT), Parameter-efficient fine-tuning (PEFT), LoRA。 - 関連手法: Vision-language-action (VLA) モデル、LIBERO-Plusベンチマーク。 - 同分野の定番: 特に指定なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhua Jiang, Junjie Lu, Xinyao Qin, Xiaoyu Chen, Kaixin Wang, Feifei Gao, Li Zhao

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models inherit rich visual-semantic priors from pre-trained vision-language backbones, but adapting them to robotic control remains challenging. Full fine-tuning (FFT) is prone to overfitting on downstream robotic data and catastrophic forgetting of pretrained vision-language capabilities. Parameter-efficient fine-tuning (PEFT) better preserves pre-trained knowledge, yet existing PEFT methods still struggle to adapt effectively to robot control tasks. To address this gap, we propose VLA-GSE, a parameter-efficient VLA fine-tuning framework that improves control adaptation while retaining PEFT's knowledge preservation advantage. Specifically, VLA-GSE (Generalized and Specialized Experts) is initialized by spectrally decomposing the frozen backbone, assigning leading singular components to generalized experts (shared experts) and disjoint residual components to specialized experts (routed experts). This decomposition improves adaptation capacity under a fixed trainable-parameter budget. Under a comparable parameter budget, VLA-GSE updates only 2.51% of the full model parameters and consistently outperforms strong FFT and PEFT baselines. It achieves 81.2% average zero-shot success on LIBERO-Plus, preserves pre-trained VLM capability comparably to LoRA on multimodal understanding benchmarks, and improves real-world manipulation success under multiple distribution shifts. Code is available at: https://github.com/YuhuaJiang2002/VLA-GSE

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI