日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.22195

行動を言語として扱う:壊滅的忘却なしにVLMをVLAへ微調整する手法

Actions as Language: Fine-Tuning VLMs into VLAs Without Catastrophic Forgetting

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの遠隔操作データを自然言語で表現することで、VLMの基盤能力を損なわずにLoRAのみでVLAへ微調整する手法を提案し、実世界実験でゼロショット汎化を実証した。

詳しい要約

1. どんなもの?

- VLMをrobot teleoperation dataでfine-tuningしVLAモデル化するパラダイム - 課題はaction生成学習によるVLMのfoundational reasoning・multimodal understandingの劣化(catastrophic forgetting) - 原因をVLMのinternet-scale pretraining corpusとrobotics fine-tuning data間のdistribution mismatchと主張 - これを解決するVLA学習パラダイムVLM2VLAを提案 - 低レベルactionをnatural languageで表現しdata levelでmismatchを解消 - LoRAのみで学習しVLM backboneの改変を最小化

2. 先行研究と比べてどこがすごい?

- 従来のVLA学習はaction生成によりVLMのreasoning・multimodal理解が劣化し、novel scenarioへのgeneralizationやinstruction following、semantic understandingが損なわれる - 本手法はdata levelのalignmentによりcatastrophic forgettingを回避 - VLM backboneのarchitectureを根本的に変えずにrobot teleoperation dataでfine-tuning可能 - internet-scale VLM datasetでの高コストなco-trainingを不要にする点が先行研究と異なる - 具体的な比較対象の研究名は要旨からは不明

3. 技術・手法の肝は?

- 低レベルactionをnatural languageで表現し、VLMのpretraining corpusとのdistribution mismatchをdata levelで解消 - このalignmentによりVLAをLoRAのみで学習可能にし、VLM backboneへの変更を最小化 - 結果としてcatastrophic forgettingを回避しつつrobot teleoperation dataでfine-tuning - 詳細なactionの言語表現形式やLoRA設定は要旨からは不明

4. どうやって有効だと検証した?

- 広範なVisual Question Answering (VQA) studiesを実施 - 800件以上のreal-world robotics experimentsを実施 - VLM2VLAがVLMのcore capabilitiesを保持することを実証 - open-world semantic reasoningやmultilingual instruction followingを要するnovel taskへのzero-shot generalizationを示す - 具体的なbaselineや評価指標は要旨からは不明

5. 議論はある?

- catastrophic forgettingの原因をdistribution mismatchとする主張の妥当性 - natural languageによるaction表現が低レベル制御の精度や表現力に与える影響 - LoRAのみでの学習が多様なrobot platformやtaskにどこまで汎化するか - 具体的な限界や議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- VLM2VLAの基盤となるVLM - Low-Rank Adaptation (LoRA) - 従来のVLA学習(robot teleoperation dataによるfine-tuning) - Visual Question Answering (VQA)評価 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Asher J. Hancock, Xindi Wu, Lihan Zha, Olga Russakovsky, Anirudha Majumdar

分類: cs.RO

原文アブストラクト

Fine-tuning vision-language models (VLMs) on robot teleoperation data to create vision-language-action (VLA) models is a promising paradigm for training generalist policies, but it suffers from a fundamental tradeoff: learning to produce actions often diminishes the VLM's foundational reasoning and multimodal understanding, hindering generalization to novel scenarios, instruction following, and semantic understanding. We argue that this catastrophic forgetting is due to a distribution mismatch between the VLM's internet-scale pretraining corpus and the robotics fine-tuning data. Inspired by this observation, we introduce VLM2VLA: a VLA training paradigm that first resolves this mismatch at the data level by representing low-level actions with natural language. This alignment makes it possible to train VLAs solely with Low-Rank Adaptation (LoRA), thereby minimally modifying the VLM backbone and averting catastrophic forgetting. As a result, the VLM can be fine-tuned on robot teleoperation data without fundamentally altering the underlying architecture and without expensive co-training on internet-scale VLM datasets. Through extensive Visual Question Answering (VQA) studies and over 800 real-world robotics experiments, we demonstrate that VLM2VLA preserves the VLM's core capabilities, enabling zero-shot generalization to novel tasks that require open-world semantic reasoning and multilingual instruction following.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI