日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.27755

ドロップ・ザン・リカバリー:視覚言語行動モデルはどの程度冗長か?

Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの冗長性を調べるため、トランスフォーマーブロックを除去して再学習する手法を提案し、言語バックボーンが操作タスクに冗長である一方、視覚・行動経路は重要であることを示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおけるアーキテクチャの冗長性を分析する研究。 - transformer block の除去を介入として用い、除去後の fine-tuning で回復可能性を測る Drop-Then-Recovery (DTR) プロトコルを提案。 - 言語バックボーンは冗長性が高く、vision と action の経路は除去に耐性が低いという非対称性を発見。 - LIBERO では LLM ブロックの半分を除去すると OpenVLA-OFT が 95.0% から 98.3% に向上。 - 言語ブロックを 2 つだけ残してもベースライン性能を回復。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 研究は性能向上に焦点を当て、アーキテクチャの冗長性を体系的に分析していない。 - 本研究は transformer block 除去という制御された介入により、各コンポーネントの必要性を定量的に評価。 - 言語バックボーンの冗長性を明示し、ベンチマークが深い言語理解に限定的な圧力しかかけていない可能性を示唆。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- Drop-Then-Recovery (DTR): 事前学習済み VLA モデルから選択したブロックを除去し、その後 fine-tuning して回復可能性を測定する分析プロトコル。 - GateProbe: 下流の action loss への寄与に基づいてブロックをランク付けする one-shot virtual-gate sensitivity 指標。 - これにより信頼性の高い介入を実現。 - 複数の VLA アーキテクチャ、操作ベンチマーク、実ロボット産業シナリオに適用。

4. どうやって有効だと検証した?

- 複数の VLA アーキテクチャと操作ベンチマークで評価。 - LIBERO ベンチマークで OpenVLA-OFT を用い、LLM ブロックの半分を除去すると 95.0% から 98.3% に向上することを確認。 - 言語ブロックを 2 つだけ残してもベースライン性能を回復することを検証。 - 実ロボット産業シナリオでも評価を実施。

5. 議論はある?

- 言語バックボーンは標準的なロボット操作タスクにおいて高い冗長性を持つが、vision と action 経路は除去に対して耐性が低いという非対称性を議論。 - 現在の VLA ベンチマークは深い言語グラウンディングや構成的指示理解に限定的な圧力しかかけていない可能性を指摘。 - 将来の VLA アーキテクチャは言語・視覚・行動コンポーネント間で容量をより意図的に配分すべきと提案。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、OpenVLA-OFT、LIBERO ベンチマークが挙げられる。 - 同分野の定番として RT-1, RT-2, Octo などが考えられるが、要旨には記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoheng Sun, Kaixi Feng, Shwai He, Xiaochuan Gong, Yexiao He, Ziyao Wang, Zheyu Shen, Wanghao Ye, Ramana Rao Kompella, Gaowen Liu, Ang Li

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce \textbf{Drop-Then-Recovery (DTR)}, an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose \textbf{GateProbe}, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \ul{\textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI