日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.15735

UAM: VLA訓練における忘却問題への二経路視点からのアプローチ

UAM: A Dual-Stream Perspective on Forgetting in VLA Training

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルがVLMのマルチモーダル能力を失う「身体化税」問題を、生物学的視覚の二経路構造に着想を得て、並列な背側経路(Dorsal Expert)を追加するUAMを提案し、忘却を抑えつつ操作性能を向上させた。

詳しい要約

1. どんなもの?

- VLAモデルはpretrained VLMをaction dataでfine-tuningして構築されるが、この標準手法はVLMのmultimodal competenceを系統的に損なう(embodiment tax)。 - 生物の視覚系のtwo-stream organizationに着想を得て、この劣化を構造的ボトルネックに帰着。 - 単一encoderがlanguage-grounded semanticsとcontrol-relevant visual featuresの両方を担うことが問題。 - 提案手法Unified Action Model (UAM)は、脳のdorsal pathwayのアナログである並列のDorsal Expertを追加。 - Dorsal Expertはpretrained generative modelから初期化し、visual dynamicsを予測するmid-level reasoning objectiveで訓練。 - これによりaction dataのみでend-to-end訓練が可能(parameter freezing, gra…

2. 先行研究と比べてどこがすごい?

- 従来のVLAはfine-tuningによりVLMのmultimodal competenceを損なう(embodiment tax)が、UAMはそれを回避。 - 従来はparameter freezingやgradient stopping、auxiliary VL co-trainingで意味保持を図るが、UAMはそれらを必要としない。 - UAMはVLMのmultimodal capabilityを95%以上保持しつつ、manipulationタスクで最高の平均成功率を達成。 - 意味保持がarchitectural separation自体から創発し、frozen weightsやdata replayに依存しないことを示唆。

3. 技術・手法の肝は?

- 生物のtwo-stream organizationに倣い、VLAに並列のDorsal Expertを追加。 - Dorsal Expertはpretrained generative modelから初期化。 - mid-level reasoning objective(visual dynamics予測)で訓練。 - これによりVLMのcontrol-learning負担を軽減。 - 全体をaction dataのみでend-to-end訓練(parameter freezing, gradient stopping, auxiliary VL co-trainingなし)。

4. どうやって有効だと検証した?

- 様々なmanipulationタスクで評価。 - out-of-distribution generalizationを検証:unseen objects, novel object-target compositions, instruction variation。 - UAMはVLMのmultimodal capabilityを95%以上保持。 - ベースライン中で最高の平均成功率を達成。

5. 議論はある?

- 意味保持がarchitectural separation自体から創発する可能性を示唆。 - frozen weightsやauxiliary data replayに依存しない。 - 保持されたsemantic capabilityがVLMからactionのsemantic generalizationに自然に転移する可能性。 - 具体的な議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:pretrained VLM, VLA models, two-stream organization of biological vision, Dorsal Expert, generative model, mid-level reasoning objective。 - 関連手法:fine-tuning, parameter freezing, gradient stopping, auxiliary VL co-training。 - 同分野の定番:RT-1, RT-2, Octo, OpenVLAなど(一般名)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianke Zhang, Yuanfei Luo, Yucheng Hu, Xiaoyu Chen, Yanjiang Guo, Ziyang Liu, Hongbin Xu, Tian Lan, Jianyu Chen

分類: cs.CV, cs.AI

原文アブストラクト

Vision--language--action (VLA) models are typically built by fine-tuning a pretrained vision--language model (VLM) on action data. However, we show that this standard recipe systematically erodes the VLM's multimodal competence, a side effect we call the embodiment tax. But do VLAs have to forget? Inspired by the two-stream organization of biological vision, we trace this degradation to a structural bottleneck: current VLAs ask a single encoder to support both language-grounded semantics and control-relevant visual features, whereas biological vision separates recognition and visuomotor control into distinct pathways. Building on this view, we propose the Unified Action Model (UAM), which adds a parallel Dorsal Expert, an analog of the brain's dorsal pathway. To make the Dorsal Expert an effective second pathway and reduce the control-learning burden on the VLM, we initialize it from a pretrained generative model and train it with a mid-level reasoning objective that predicts visual dynamics. This design allows us to train the whole VLA end-to-end on action data alone: with no parameter freezing, no gradient stopping, and no auxiliary VL co-training, UAM retains over $95\%$ of the underlying VLM's multimodal capability and at the same time achieves the highest average success rate among baselines on a variety of manipulation tasks that probe out-of-distribution generalization, including unseen objects, novel object--target compositions, and instruction variation. Together, these results suggest that semantic preservation in VLAs can emerge from architectural separation itself, rather than being enforced by frozen weights or auxiliary data replay, and that this preserved semantic capability can naturally transfer from VLMs to semantic generalization in actions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI