日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.03350

ロボット視覚言語行動モデルへの敵対的攻撃

Adversarial Attacks on Robotic Vision Language Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)にLLMのジェイルブレイク攻撃を適用し、ロボットの制御権を奪取できることを示した研究。

詳しい要約

1. どんなもの?

- VLA(vision-language-action models)に対する敵対的攻撃の研究を開始 - 主な貢献はLLM jailbreaking攻撃をVLAに適応・適用し、完全な制御権を得ること - テキスト攻撃をロールアウト開始時に一度適用するだけで、一般的なVLAの行動空間の全到達可能性を実現 - 攻撃は長いホライズンにわたって持続することが多い - 実世界の攻撃はLLM jailbreaking文献と異なり、危害の概念と意味的にリンクする必要がない

2. 先行研究と比べてどこがすごい?

- 従来のLLM jailbreaking研究は意味的な危害に焦点 - 本研究はロボティクスにおける物理的リスクに着目し、VLAがLLMの脆弱性を継承するか疑問視 - 実世界の攻撃は意味的な危害リンクが不要であることを示唆 - VLAの完全な行動空間到達可能性をテキスト攻撃で実現した点が新規

3. 技術・手法の肝は?

- LLM jailbreaking攻撃をVLAに適応 - テキスト攻撃をロールアウト開始時に一度適用 - 攻撃は行動空間の完全な到達可能性を促進 - 攻撃は長期間持続 - コードはhttps://github.com/eliotjones1/robogcg で公開

4. どうやって有効だと検証した?

- 一般的なVLAに対してテキスト攻撃を適用し、行動空間の完全到達可能性を確認 - 攻撃が長いホライズンにわたって持続することを観察 - 具体的な実験設定や評価指標は要旨からは不明

5. 議論はある?

- VLAがLLMの脆弱性を継承する可能性を指摘 - 実世界の攻撃は意味的な危害リンクが不要である点がLLM jailbreaking文献と異なる - ロボティクスにおける物理的リスクの観点から議論 - 詳細な議論や限界は要旨からは不明

6. 次に読むべき論文は?

- LLM jailbreaking文献(具体的な論文名は要旨からは不明) - VLA(vision-language-action models)に関する研究 - 関連手法としてGCG(Greedy Coordinate Gradient)などが考えられるが、要旨では明示されていない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eliot Krzysztof Jones, Alexander Robey, Andy Zou, Zachary Ravichandran, George J. Pappas, Hamed Hassani, Matt Fredrikson, J. Zico Kolter

分類: cs.RO, cs.AI

原文アブストラクト

The emergence of vision-language-action models (VLAs) for end-to-end control is reshaping the field of robotics by enabling the fusion of multimodal sensory inputs at the billion-parameter scale. The capabilities of VLAs stem primarily from their architectures, which are often based on frontier large language models (LLMs). However, LLMs are known to be susceptible to adversarial misuse, and given the significant physical risks inherent to robotics, questions remain regarding the extent to which VLAs inherit these vulnerabilities. Motivated by these concerns, in this work we initiate the study of adversarial attacks on VLA-controlled robots. Our main algorithmic contribution is the adaptation and application of LLM jailbreaking attacks to obtain complete control authority over VLAs. We find that textual attacks, which are applied once at the beginning of a rollout, facilitate full reachability of the action space of commonly used VLAs and often persist over longer horizons. This differs significantly from LLM jailbreaking literature, as attacks in the real world do not have to be semantically linked to notions of harm. We make all code available at https://github.com/eliotjones1/robogcg .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI