日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/ベンチマークarXiv:2605.19328

RoboJailBench: 具身ロボットエージェントにおける敵対的攻撃と防御のベンチマーク

RoboJailBench: Benchmarking Adversarial Attacks and Defenses in Embodied Robotic Agents

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを搭載したロボットに対する脱獄攻撃と防御を評価するための、セキュリティ分類法と意図対比データセットを含むベンチマークを提案した。

詳しい要約

1. どんなもの?

- 本論文は、embodied AI(ロボットや自動運転車など)におけるjailbreak攻撃と防御を評価するためのベンチマーク「RoboJailBench」を提案する。 - 3つの構成要素:ISO標準・規制・インシデントから導出したセキュリティ分類(18カテゴリの違反結果)、意図対比データセットパイプライン(敵対的目標と良性目標をペアで拡張)、標準化メトリクスと統合プロセスを備えた進化型リポジトリ。 - 既存の5データセットを拡張し、新たな分類バランスデータセットを構築。4つの攻撃と2つの防御を統合し、主要なembodied VLMで評価。 - コード、データセット、成果物を公開し、リーダーボードを維持。embodied AIにおけるjailbreak攻撃の初の標準評価フレームワークを提供。

2. 先行研究と比べてどこがすごい?

- 先行研究はembodied AI向けのjailbreak攻撃と防御を導入したが、評価はアドホックなデータセット、限られたメトリクスに依存し、攻撃成功率を強調してセキュリティと良性コマンド追従能力のトレードオフを無視していた。 - 既存のベンチマークや評価フレームワークは、従来のチャットベースモデルを対象とするか、embodied AIの非敵対的安全性評価に焦点を当てており、embodied AIシステムにおけるjailbreak攻撃に必要な敵対的リスク、入力、結果、評価基準を捉えていなかった。 - 本論文はこのギャップを埋め、embodied AIにおけるjailbreak攻撃の初の標準評価フレームワークを提供する。

3. 技術・手法の肝は?

- セキュリティ分類:ISO標準、規制規則、文書化されたインシデントから導出し、embodied AIのセキュリティ違反結果を18カテゴリに分類。 - 意図対比データセットパイプライン:既存データセットを拡張し、敵対的目標と良性目標をペアにしてセキュリティとユーティリティの両方を測定。 - 進化型リポジトリ:標準化メトリクスと統一プロセスを提供し、新しい攻撃と防御の評価・統合を可能にする。 - これにより、分類バランスの取れた新データセットを構築し、既存5データセットを拡張。4攻撃と2防御を統合して主要embodied VLMで評価。

4. どうやって有効だと検証した?

- 本ベンチマークを用いて、分類バランスの取れた新データセットを構築し、既存の5データセットを拡張。 - 4つの攻撃と2つの防御を統合し、主要なembodied VLM上でそれらの性能を評価。 - これにより、jailbreak攻撃と防御の標準化された評価が可能であることを示した。 - 具体的な評価結果の数値や詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - ただし、既存研究の問題点として、アドホックなデータセット、限られたメトリクス、攻撃成功率偏重、セキュリティとユーティリティのトレードオフの無視を指摘している。 - 本ベンチマークはこれらの問題に対処し、今後の研究を支援すると述べている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:embodied AI向けのjailbreak攻撃と防御に関する先行研究(具体的な論文名は要旨に記載なし)。 - 関連手法:Vision-Language Models (VLMs)、jailbreak attacks、defenses、embodied AI systems。 - 同分野の定番:embodied AIの安全性評価、チャットベースモデルのベンチマーク、非敵対的安全性評価フレームワーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Doguhuan Yeke, Yanming Zhou, Leo Y. Lin, Hongyu Cai, Antonio Bianchi, Z. Berkay Celik

分類: cs.CR, cs.RO

原文アブストラクト

Recent advances in Vision-Language Models (VLMs) facilitate a new class of embodied AI systems, where these models are integrated into physical platforms, e.g. robots and autonomous vehicles, to interpret visual scenes and execute natural language commands in diverse environments. Previous research has introduced jailbreak attacks and defenses for embodied AI. Their evaluations, however, rely on ad-hoc datasets, limited metrics, and emphasize attack success while neglecting the trade-off between security and the ability to follow benign commands. Existing benchmarks and evaluation frameworks either target traditional chat-based models or focus on non-adversarial safety evaluation for embodied AI; neither captures the adversarial risks, inputs, consequences, and evaluation criteria necessary for jailbreak attacks in embodied AI systems. In this paper, we address this gap with RoboJailBench, which consists of three core components. We establish a security taxonomy derived from ISO standards, regulatory rules, and documented incidents. This effort yields 18 categories of security violation consequences for embodied AI. We introduce an intent contrast dataset pipeline that augments existing datasets with paired adversarial and benign goals to measure both security and utility. Lastly, we provide an evolving repository with standardized metrics and a unified process for assessing and integrating new attacks and defenses. With this benchmark, we construct a new taxonomy-balanced dataset and augment five existing datasets. We integrate four attacks and two defenses to evaluate their performance on leading embodied VLMs. This benchmark provides the first standardized evaluation framework for jailbreak attacks in embodied AI and supports future research. We release our code, datasets, and artifacts, and maintain a leaderboard at https://purseclab.github.io/benchmark-for-robotics-security.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI