日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32108

SAMBAR: 双対変数と選択的アンカリングによるVision-Language-Actionモデルの継続学習

SAMBAR: Selective Anchoring via Method of Multipliers for Balanced Knowledge Acquisition and Retention in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

過去タスクのデモなしでVLAモデルをファインチューニングする際の破滅的忘却を防ぐため、制約付き最適化と乗数法を用いて重要パラメータを選択的に固定する継続学習手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの継続学習アルゴリズム SAMBAR を提案。 - 新タスクの finetuning 時に catastrophic forgetting を防ぐ。 - 過去タスクのデモンストレーションにアクセスせずに forgetting を抑制。 - 制約付き最適化問題として定式化し、method of multipliers で解く。 - 選択的アンカリングにより重要パラメータを固定し、知識保持と獲得のバランスを取る。

2. 先行研究と比べてどこがすごい?

- 従来の継続学習法は過去タスクのデータをリプレイするが、SAMBAR はリプレイ不要。 - 標準的な正則化ペナルティと異なり、method of multipliers は双対変数を用いて制約違反の蓄積に応じてペナルティを増加。 - 選択的アンカリングにより、過去タスクに重要なパラメータのみを固定し、他は新タスク学習に自由に使える。 - リプレイフリーのベースラインが最初のタスクを完全に忘れるのに対し、SAMBAR はすべてのタスクを保持。

3. 技術・手法の肝は?

- 継続学習を制約付き最適化問題として定式化。 - method of multipliers を適用し、双対変数で制約違反に応じてペナルティを適応的に増加。 - モデルパラメータが以前の値から大きく離れないように誘導。 - 過去タスクに重要なパラメータを選択的にアンカリングし、他のパラメータは新タスク獲得のために自由に更新。 - 双対変数と選択的アンカリングの組み合わせで知識獲得と保持のバランスを実現。

4. どうやって有効だと検証した?

- LIBERO シミュレーションベンチマークと実機で評価。 - VLA を逐次 finetuning した際、比較したリプレイフリーベースラインはすべて最初のタスクを完全に忘れたが、SAMBAR は学習したすべてのタスクを保持。 - 具体的な評価指標や詳細な実験設定は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: リプレイを用いる継続学習手法、リプレイフリーベースライン。 - 関連手法: method of multipliers、選択的アンカリング。 - 同分野の定番: Elastic Weight Consolidation (EWC)、Synaptic Intelligence (SI)、Memory Aware Synapses (MAS) などの正則化ベース継続学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aayushi Shrivastava, Xunlan Zhou, Hongrui Zhao, Ziyu Chen, Negar Mehr

分類: cs.LG, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models leverage large-scale pretraining to ultimately achieve generalist manipulation. Deployed VLA policies must support continual learning to acquire new tasks over time. Teaching a VLA a new task generally requires finetuning it on demonstrations of that task. However, naively finetuning on downstream tasks causes the policy to forget earlier tasks and degrades generalist capabilities. This failure is known as catastrophic forgetting. Most continual learning methods counter it by replaying data from earlier tasks. However, the old task demonstrations are not always readily available. In this paper, we introduce SAMBAR, a continual learning algorithm that prevents catastrophic forgetting during VLA finetuning without requiring access to the demonstrations of any previously learned task. We propose to cast continual learning as a constrained optimization problem and solve it with the method of multipliers. In our approach, the method of multipliers drives the policy to learn the new task without the model parameters drifting far away from their previous values. In contrast to a standard regularization penalty, the method of multipliers raises the penalty as the constraint violation accumulates by using a dual variable. We also selectively anchor the parameters critical to previous tasks to preserve past knowledge, leaving other parameters free for new task acquisition. The combination of dual variable and selective anchoring, therefore, balances knowledge acquisition with knowledge retention. We evaluate our method, SAMBAR, on the LIBERO simulation benchmark and on hardware. When sequentially finetuning on a VLA, every replay-free baseline we compare against completely forgets the first task it learned, whereas SAMBAR retains every task it has learned.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI