日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.07404

視覚言語行動モデルのファインチューニングにおける適応的容量割り当て

Adaptive Capacity Allocation for Vision Language Action Fine-tuning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)のファインチューニングにおいて、固定ランクのLoRAではなく、入力と層に応じてランクを適応的に割り当てるLoRA-SPを提案し、ロボット操作タスクで性能を向上させた。

詳しい要約

1. どんなもの?

- Vision Language Action models (VLAs) の fine-tuning 手法。 - 特に LoRA の rank を適応的に割り当てる LoRA-SP (Select-Prune) を提案。 - 入力と層ごとに容量を変化させ、固定 rank の更新を置き換える。 - 実ロボットマニピュレーションタスクで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の PEFT、特に LoRA は固定 rank で、VLA では高い・タスク依存の intrinsic rank が必要。 - LLM では小さい rank (r∈{4,8}) で十分だが、VLA では r≈128 や near-full rank が必要な場合がある。 - LoRA-SP は rank 選択に robust で、multi-task 設定での性能劣化を改善。 - 標準 LoRA より multi-task 成功率を最大 31.6% 向上。

3. 技術・手法の肝は?

- SVD-style parameterization と小さな router を使用。 - router の非負スコアが共有 vector bank 上の singular values として機能。 - 累積二乗スコアの energy target E(k) ≥ η で active set を選択。 - 訓練中に η がエネルギーを少数方向に集中させ、router が少ない vector に依存するよう学習。 - これにより compact な adapter を実現し、cross-task interference を低減。

4. どうやって有効だと検証した?

- 4つの実ロボットマニピュレーションタスクで検証。 - 未見の AgileX PiPER arm を使用。 - 2つの VLA backbone (π0 と SmolVLA) で評価。 - LoRA-SP は full fine-tuning と同等以上で、はるかに少ない trainable parameters。 - 標準 LoRA より multi-task 成功率を最大 31.6% 向上。

5. 議論はある?

- 要旨からは不明。 - ただし、rank 選択に対する robustness や multi-task での改善が示されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: LoRA, PEFT, π0, SmolVLA。 - 関連手法: SVD-style parameterization, spectral analysis。 - 同分野の定番: Vision Language Action models (VLAs), parameter-efficient fine-tuning (PEFT)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Donghoon Kim, Minji Bae, Unghui Nam, Gyeonghun Kim, Suyun Lee, Kyuhong Shim, Byonghyo Shim

分類: cs.RO, cs.AI

原文アブストラクト

Vision language action models (VLAs) are increasingly used for Physical AI, but deploying a pre-trained VLA model to unseen environments, embodiments, or tasks still requires adaptation. Parameter-efficient fine-tuning (PEFT), especially LoRA, is common for VLA policies, yet the exposed capacity knob, the rank, does not transfer uniformly: robotics transfer exhibits a higher and task-varying intrinsic rank than language fine-tuning. Small ranks suffice for LLMs (e.g., $r \in \{4, 8\}$), while spectral analyses indicate VLAs may require much larger ranks (e.g., $r \approx 128$) or near-full rank, a mismatch that worsens in multi-task settings. We present LoRA-SP (Select-Prune), a rank-adaptive fine-tuning method that replaces fixed-rank updates with input- and layer-wise capacity. LoRA-SP uses an SVD-style parameterization with a small router whose nonnegative scores act as singular values over a shared vector bank. The active set is chosen by an energy target on the cumulative squared scores $E(k) \ge \eta$, providing a direct link to approximation error via our spectral analysis. During training, $\eta$ concentrates energy on a few directions and teaches the router to rely on fewer vectors while preserving accuracy. This yields compact adapters that reduce cross-task interference and improve generalization. On four real-robot manipulation tasks collected on an unseen AgileX PiPER arm, across two VLA backbones ($\pi_0$ and SmolVLA), LoRA-SP matches or exceeds full fine-tuning with far fewer trainable parameters, and improves multi-task success by up to 31.6% over standard LoRA while remaining robust to rank choice.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI