日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体性エージェント安全性arXiv:2610.06122

身体性エージェント向けジェイルブレイクガードレールのベンチマーク

Benchmarking Jailbreak Guardrails for Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLM/VLMを用いた身体性エージェントに対するジェイルブレイク攻撃を防ぐガードレールを、防御効果・使いやすさ・効率の3軸で体系的に評価する初の枠組みを提案し、6種のガードレールを比較した。

詳しい要約

1. どんなもの?

- 大規模言語モデルや視覚言語モデルを搭載したembodied agentsに対するjailbreak攻撃を防ぐguardrailの初の系統的評価。 - 既存の安全ベンチマークはembodied models自体を評価するが、guardrailの実効性は不明。 - プラガブルな評価フレームワークを構築し、embodied agentを固定バックエンド、各guardrailをperception, planning, control段階で介入可能なモジュールとして扱う。 - 6つの代表的なguardrailをテンプレートベースおよび自動jailbreak攻撃と安全指示で評価。 - システムレベルでdefense effectiveness, usability, efficiencyの3次元で評価。

2. 先行研究と比べてどこがすごい?

- 従来の安全ベンチマークはembodied models自体を評価対象とし、guardrailの防御性能を評価していなかった。 - 本研究はembodied agents向けjailbreak guardrailの初の系統的評価を提供。 - 同一条件下で比較するため、プラガブルな評価フレームワークを構築し、guardrailをモジュールとして扱う点が新しい。 - 6つの代表的なguardrailを横断的に評価し、3次元のトレードオフを明らかにした。

3. 技術・手法の肝は?

- プラガブルな評価フレームワーク:embodied agentを固定バックエンドとし、guardrailをperception, planning, control段階で介入するモジュールとして実装。 - テンプレートベースおよび自動jailbreak攻撃、安全指示を用意。 - 評価指標:defense effectiveness(bypass rate, hazard success rate in simulator)、usability(false-positive rate, task completion rate on safe instructions)、efficiency(latency overhead)。 - 異なる介入段階、決定メカニズム、入力モダリティを持つguardrailを比較。

4. どうやって有効だと検証した?

- 6つの代表的なguardrailをテンプレートベースおよび自動jailbreak攻撃、安全指示で評価。 - シミュレータ上でbypass rateとhazard success rateを測定。 - 安全指示に対するfalse-positive rateとtask completion rateを測定。 - 実行時のlatency overheadを測定。 - 実験により3次元のトレードオフと、全設定で優位な単一guardrailが存在しないことを示した。

5. 議論はある?

- 3次元(defense effectiveness, usability, efficiency)間に明確なトレードオフが存在。 - どの単一guardrailも全設定で支配的ではない。 - 介入段階、決定メカニズム、入力モダリティが安全成果に与える影響を分析。 - embodied agents向けguardrailの選択と設計に関する実践的ガイダンスを提供。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、embodied agentsの安全性評価、jailbreak攻撃、guardrail手法(例:LLM-based guardrails, vision-language model safety)に関する論文が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xunguang Wang, Qingyue Wang, Yuguang Zhou, Zongjie Li, Wenxuan Wang, Shuai Wang

分類: cs.AI

原文アブストラクト

Embodied agents powered by large language models and vision-language models are increasingly deployed in physical environments, but jailbreak attacks can induce these agents to perform physically harmful actions. A growing number of guardrail methods have been proposed to intercept dangerous behavior before it is executed, yet existing safety benchmarks evaluate the embodied models themselves, leaving it unclear how well these guardrails actually defend an embodied agent in practice. We present the first systematic evaluation of jailbreak guardrails for embodied agents. To compare guardrails under identical conditions, we build a pluggable evaluation framework that treats the embodied agent as a fixed backend and each guardrail as a module that can intervene at the perception, planning, or control stage. We subject six representative guardrails to template-based and automated jailbreak attacks as well as safe instructions, and assess them at the system level along three dimensions: defense effectiveness, measured by the bypass rate and the hazard success rate in the simulator; usability, measured by the false-positive rate and the task completion rate on safe instructions; and efficiency, measured by the latency overhead added at runtime. Experiments on guardrails that span different intervention stages, decision mechanisms, and input modalities reveal a clear trade-off among the three dimensions, and show that no single guardrail dominates in all settings. We further analyze how intervention stage, decision mechanism, and input modality shape safety outcomes, and we offer practical guidance for selecting and designing guardrails for embodied agents.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI