日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.01158

視覚入力の復元によるVision-Language-Actionモデルのロバスト性向上

Improving Robustness of Vision-Language-Action Models by Restoring Corrupted Visual Inputs

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルは画像ノイズやレンズ汚れなどのセンサー劣化に弱いため、劣化画像からクリーンな観測を復元するプラグアンドプレイ型Transformer(CRT)を提案し、性能低下を防いだ。

詳しい要約

1. どんなもの?

Vision-Language-Action (VLA) モデルの視覚入力破損に対する脆弱性を定量化し、それを修復する Corruption Restoration Transformer (CRT) を提案する研究。VLA はロボット操作の主流だが、電子ノイズや死像素子、レンズ汚れなどの画像破損に弱い。CRT は plug-and-play で model-agnostic な vision transformer であり、VLA モデル自体の fine-tuning なしに破損入力からクリーンな観測を復元する。

2. 先行研究と比べてどこがすごい?

先行研究はシーン形状による物理的遮蔽 (occlusion) を広く扱うが、センサレベルで生じる画像破損 (image corruptions) は未探索だった。本研究はこのモードを定量化し、最先端 VLA の π0.5 や SmolVLA が信号アーティファクト下で成功率 90% から 2% まで壊滅的に低下することを示す。CRT は計算コストの高い fine-tuning を必要とせず、モデル非依存で VLA をセンサ障害から免疫化する点が新しい。

3. 技術・手法の肝は?

CRT は plug-and-play で model-agnostic な vision transformer。adversarial training objective を活用し、破損入力からクリーンな観測を復元する。VLA モデル本体の fine-tuning は不要で、視覚入力の前処理として機能する。

4. どうやって有効だと検証した?

LIBERO と Meta-World ベンチマークで広範な実験を実施。CRT が失われた性能を効果的に回復し、深刻な視覚破損下でも VLA がベースラインに近い成功率を維持できることを示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

π0.5、SmolVLA、LIBERO、Meta-World が参照/比較されている。関連手法として vision transformer や adversarial training も挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daniel Yezid Guarnizo Orjuela, Leonardo Scappatura, Veronica Di Gennaro, Riccardo Andrea Izzo, Gianluca Bardaro, Matteo Matteucci

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as a dominant paradigm for generalist robotic manipulation, unifying perception and control within a single end-to-end architecture. However, despite their success in controlled environments, reliable real-world deployment is severely hindered by their fragility to visual disturbances. While existing literature extensively addresses physical occlusions caused by scene geometry, a critical mode remains largely unexplored: image corruptions. These sensor-level artifacts, ranging from electronic noise and dead pixels to lens contaminants, directly compromise the integrity of the visual signal prior to interpretation. In this work, we quantify this vulnerability, demonstrating that state-of-the-art VLAs such as $\pi_{0.5}$ and SmolVLA, suffer catastrophic performance degradation, dropping from 90\% success rates to as low as 2\%, under common signal artifacts. To mitigate this, we introduce the Corruption Restoration Transformer (CRT), a plug-and-play and model-agnostic vision transformer designed to immunize VLA models against sensor disturbances. Leveraging an adversarial training objective, CRT restores clean observations from corrupted inputs without requiring computationally expensive fine-tuning of the underlying model. Extensive experiments across the LIBERO and Meta-World benchmarks demonstrate that CRT effectively recovers lost performance, enabling VLAs to maintain near-baseline success rates, even under severe visual corruption.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI