日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.25616

VLAモデルの視覚表現を劣化させない:OOD汎化のためのアラインメント

Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのファインチューニングで視覚表現が劣化する問題を分析し、視覚表現をアラインメントする簡便な手法でOOD汎化を改善した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの fine-tuning 時に、pretrained Vision-Language Model (VLM) の視覚・視覚言語 (VL) 表現がどの程度保持されるかを系統的に調べる研究。 - naive な action fine-tuning が視覚表現の劣化を引き起こすことを示す。 - 劣化を緩和し out-of-distribution (OOD) 汎化を改善する簡便な visual representation alignment 手法を提案。

2. 先行研究と比べてどこがすごい?

- VLA が pretrained VLM の転移可能な世界知識や VL grounding を継承するという前提に対し、fine-tuning 後の表現保持を実証的に問う点が新しい。 - VLA と対応する VLM を比較する targeted tasks と手法を設計し、action fine-tuning による VL 能力変化を切り分ける。 - 視覚表現の劣化と OOD 汎化のトレードオフを明確化。

3. 技術・手法の肝は?

- VLA の hidden representations を probe し、attention maps を分析して表現劣化を特徴づける。 - VLA と counterpart VLM を対比する targeted tasks を設計し、action fine-tuning 由来の VL 能力変化を分離。 - 複数の visual representation alignment 戦略を評価し、劣化を緩和する simple yet effective な手法を導入。

4. どうやって有効だと検証した?

- VLA の hidden representations の probing と attention maps の分析により劣化を測定。 - targeted tasks で VLA と対応 VLM を比較し、VL 能力の変化を評価。 - 複数の alignment 戦略を評価し、提案手法が OOD シナリオへの汎化を改善することを示す。

5. 議論はある?

- action fine-tuning と VL 表現劣化の間のトレードオフを明らかにし、継承した VL 能力を回復する実用的アプローチを提示。 - 具体的な限界や未解決課題は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM)、visual representation alignment に関する研究を挙げる。 - 公開コード: https://blind-vla-paper.github.io

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

The growing success of Vision-Language-Action (VLA) models stems from the promise that pretrained Vision-Language Models (VLMs) can endow agents with transferable world knowledge and vision-language (VL) grounding, laying a foundation for action models with broader generalization. Yet when these VLMs are adapted to the action modality, it remains unclear to what extent their original VL representations and knowledge are preserved. In this work, we conduct a systematic study of representation retention during VLA fine-tuning, showing that naive action fine-tuning leads to degradation of visual representations. To characterize and measure these effects, we probe VLA's hidden representations and analyze attention maps, further, we design a set of targeted tasks and methods that contrast VLA models with their counterpart VLMs, isolating changes in VL capabilities induced by action fine-tuning. We further evaluate a range of strategies for aligning visual representations and introduce a simple yet effective method that mitigates degradation and yields improved generalization to out-of-distribution (OOD) scenarios. Taken together, our analysis clarifies the trade-off between action fine-tuning and the degradation of VL representations and highlights practical approaches to recover inherited VL capabilities. Code is publicly available: https://blind-vla-paper.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI