日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.12443

BadNAVer: 視覚言語ナビゲーションに対するジェイルブレイク攻撃の探索

BadNAVer: Exploring Jailbreak Attacks On Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

MLLM駆動の視覚言語ナビゲータに対する初の体系的なジェイルブレイク攻撃を提案し、シミュレータと実機で90%超の攻撃成功率を示した。

詳しい要約

1. どんなもの?

- MLLM 駆動の Vision-and-Language Navigation (VLN) navigator を対象とした、初の体系的な jailbreak attack パラダイム - 3 層構造の攻撃フレームワークを提案し、4 つの intent カテゴリにわたる malicious queries を構築 - これらの malicious queries を標準的な navigation instructions と連結して入力する - Matterport3D simulator と実機ロボットの両方で攻撃の成立を検証

2. 先行研究と比べてどこがすごい?

- 従来の jailbreak 研究は主に plain text モデルの toxic content 生成を扱っていた - 本研究は embodied な VLN navigator に着目し、malicious instructions が実行可能なコマンドとして解釈され得る点を指摘 - MLLM 駆動 navigator に対する jailbreak を初めて体系的に扱う点が新規 - シミュレータだけでなく実機ロボットでも攻撃を再現した点が先行研究と異なる

3. 技術・手法の肝は?

- 3 層構造の攻撃フレームワークを設計 - 4 つの intent カテゴリにわたる malicious queries を構築 - malicious queries を標準的な navigation instructions と連結して攻撃入力とする - 5 つの MLLM を搭載した navigation agents に対して評価 - Matterport3D simulator 上で攻撃成功率を測定し、実機ロボットで feasibility を確認

4. どうやって有効だと検証した?

- Matterport3D simulator 上で 5 つの MLLM 搭載 navigator を評価 - 平均 attack success rate が 90% 超であることを報告 - 実世界での feasibility を確認するため、physical robot 上で攻撃を再現 - 巧みに設計された prompts が harmful actions や intents を誘発することを示した

5. 議論はある?

- MLLM は crafted prompts により安全機構を回避され、望ましくない出力を引き起こす脆弱性がある - embodied シナリオでは、plain text モデルと異なり malicious instructions が実行コマンドとして解釈され、実世界の危害につながるリスクがある - toxic output にとどまらず physical harm の可能性がある点が議論の焦点 - 具体的な防御策や緩和手法については要旨からは不明

6. 次に読むべき論文は?

- MLLM-driven navigator に関する VLN 研究 - MLLM の jailbreak attack に関する研究 - Matterport3D simulator を用いた VLN ベンチマーク - embodied agent の安全性・robustness に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenqi Lyu, Zerui Li, Yanyuan Qiao, Qi Wu

分類: cs.RO

原文アブストラクト

Multimodal large language models (MLLMs) have recently gained attention for their generalization and reasoning capabilities in Vision-and-Language Navigation (VLN) tasks, leading to the rise of MLLM-driven navigators. However, MLLMs are vulnerable to jailbreak attacks, where crafted prompts bypass safety mechanisms and trigger undesired outputs. In embodied scenarios, such vulnerabilities pose greater risks: unlike plain text models that generate toxic content, embodied agents may interpret malicious instructions as executable commands, potentially leading to real-world harm. In this paper, we present the first systematic jailbreak attack paradigm targeting MLLM-driven navigator. We propose a three-tiered attack framework and construct malicious queries across four intent categories, concatenated with standard navigation instructions. In the Matterport3D simulator, we evaluate navigation agents powered by five MLLMs and report an average attack success rate over 90%. To test real-world feasibility, we replicate the attack on a physical robot. Our results show that even well-crafted prompts can induce harmful actions and intents in MLLMs, posing risks beyond toxic output and potentially leading to physical harm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI