日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性arXiv:2604.22591

RedVLA: 視覚言語行動モデルに対する物理的レッドチーミング

RedVLA: Physical Red Teaming for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの物理的安全性リスクを事前検出するため、リスクシナリオ合成とリスク増幅の2段階からなるレッドチーミングフレームワークRedVLAを提案し、生成データで軽量ガードSimpleVLA-Guardも構築した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルの物理的な安全性リスクを事前に検出するための初の red teaming フレームワークである RedVLA を提案する。VLA モデルの実世界展開は予測不能で不可逆な物理的危害のリスクにより制限されているが、展開前に物理的安全リスクを能動的に検出する効果的な仕組みが欠如している。RedVLA はこのギャップを埋めるために、二段階のプロセスで不安全な振る舞いを体系的に明らかにする。さらに、RedVLA で生成したデータから軽量な安全ガード SimpleVLA-Guard を構築し、リスクを緩和する。データ、アセット、コードは公開されている。

2. 先行研究と比べてどこがすごい?

要旨からは、VLA モデルに対する物理的安全のための red teaming フレームワークとして RedVLA が最初のものであると述べられている。先行研究と比べてどこがすごいかについて、具体的な比較対象や定量的な優位性は要旨からは不明。ただし、既存の red teaming や安全評価の枠組みが VLA の物理的安全リスクを事前に検出するには不十分であるという問題意識が背景にある。

3. 技術・手法の肝は?

RedVLA は二段階のプロセスで不安全な振る舞いを明らかにする。 - (I) Risk Scenario Synthesis: 有効かつタスク実行可能な初期リスクシーンを構築する。具体的には、良性の軌跡から重要な相互作用領域を特定し、その領域内にリスク要因を配置する。これによりリスク要因を VLA の実行フローと絡め、目標とする不安全な振る舞いを引き出す。 - (II) Risk Amplification: 異種モデル間で安定した誘発を保証する。軌跡特徴に導かれた勾配不要の最適化を通じてリスク要因の状態を反復的に洗練する。

4. どうやって有効だと検証した?

6つの代表的な VLA モデルに対する実験により、RedVLA が多様な不安全な振る舞いを明らかにし、10回の最適化反復以内で最大 95.5% の ASR (Attack Success Rate) を達成することを示した。また、RedVLA で生成したデータから構築した軽量な安全ガード SimpleVLA-Guard を提案し、リスク緩和を図った。

5. 議論はある?

要旨からは、RedVLA の限界や議論の詳細は不明。ただし、VLA モデルの実世界展開における物理的安全リスクの検出と緩和の重要性が強調されており、SimpleVLA-Guard によるリスク緩和策が提案されている。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として、VLA モデル、red teaming、adversarial attack、safety guard などが挙げられる。次に読むべき論文としては、VLA モデルの安全性や red teaming に関する研究、例えば RT-1、RT-2、OpenVLA などの VLA モデルや、adversarial robustness に関する研究が考えられるが、要旨からは具体的な論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhao Zhang, Borong Zhang, Jiaming Fan, Jiachen Shen, Yishuai Cai, Yaodong Yang, Jiaming Ji

分類: cs.RO

原文アブストラクト

The real-world deployment of Vision-Language-Action (VLA) models remains limited by the risk of unpredictable and irreversible physical harm. However, we currently lack effective mechanisms to proactively detect these physical safety risks before deployment. To address this gap, we propose \textbf{RedVLA}, the first red teaming framework for physical safety in VLA models. We systematically uncover unsafe behaviors through a two-stage process: (I) \textbf{Risk Scenario Synthesis} constructs a valid and task-feasible initial risk scene. Specifically, it identifies critical interaction regions from benign trajectories and positions the risk factor within these regions, aiming to entangle it with the VLA's execution flow and elicit a target unsafe behavior. (II) \textbf{Risk Amplification} ensures stable elicitation across heterogeneous models. It iteratively refines the risk factor state through gradient-free optimization guided by trajectory features. Experiments on six representative VLA models show that RedVLA uncovers diverse unsafe behaviors and achieves the ASR up to 95.5\% within 10 optimization iterations. To mitigate these risks, we further propose SimpleVLA-Guard, a lightweight safety guard built from RedVLA-generated data. Our data, assets, and code are available \href{https://redvla.github.io}{here}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI