日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/VLAarXiv:2608.05715

紙一枚でロボットを乗っ取る:VLM制御ロボットにおける物理的プロンプトインジェクションの体系的研究

Hijacking Robots with a Piece of Paper: A Systematic Study of Physical Prompt Injection in VLM-Controlled Robots

シェア:XThreadsFacebookLINEはてブBluesky

VLMを搭載したロボットの視界に置かれた敵対的なテキストが、間接的なプロンプトインジェクションとして機能することを体系的に調査し、攻撃の分類法とベンチマークを構築して、複数のVLMに対する攻撃成功率と防御策を評価した。

詳しい要約

1. どんなもの?

本研究は、Vision-Language Models (VLMs) をプランナーとして用いるロボットシステムに対する物理的プロンプトインジェクション攻撃を体系的に調査したものである。ロボットの視野内に配置された敵対的なテキストが、VLMの推論スタックへの間接的なプロンプトインジェクションとして機能するという新たな攻撃面に着目し、選別タスクを対象に攻撃の分類法(4カテゴリ:indirect signage, task redefinition, authority impersonation, conflict injection)を提案し、20の攻撃プロンプトからなるベンチマークを構築した。3つの物理シーン配置と3つのコマンド形式(宛先の具体性とルールの明示性が異なる)を組み合わせ、3つのフロンティアVLM(GPT-4o, Gemini 2.5 Flash, Qwen3-VL-32B)に対して5,670回の試行を実施し、攻撃成功率を評価した。さらに、推論トレースの分析により、攻撃成功のメカニズムやモデルごとの防御機構の違いを明らかにし、3つの単純な防御策(プロンプトベース防御、二段階…

2. 先行研究と比べてどこがすごい?

先行研究では、VLMに対するプロンプトインジェクション攻撃は主にデジタル領域(画像に埋め込まれたテキストなど)で研究されてきたが、本研究は物理的な環境に配置された人間が読めるテキスト(紙など)による攻撃を体系的に調査した点が新しい。また、攻撃の分類法を提案し、複数のVLMとシーン配置、コマンド形式にわたる大規模なベンチマークを構築した点、さらに推論トレースの分析を通じて攻撃成功のメカニズム(意識的な承認が99.9%)やモデルごとの防御機構の違い(Geminiは明示的拒否、GPT-4oは知覚的無視)を明らかにした点が先行研究と比べて優れている。

3. 技術・手法の肝は?

手法の核は、物理的プロンプトインジェクション攻撃を体系的に評価するためのベンチマーク設計と、防御策の評価にある。具体的には、攻撃を4カテゴリ(indirect signage, task redefinition, authority impersonation, conflict injection)に分類し、20の攻撃プロンプトを用意した。物理シーン配置を3種類(おそらくテキストの配置場所や視認性を変える)設定し、コマンド形式も3種類(宛先の具体性とルールの明示性を変える)設定した。3つのVLM(GPT-4o, Gemini 2.5 Flash, Qwen3-VL-32B)をプランナーとして用い、ロボットの選別タスクを実行させた。攻撃成功の判定は、ロボットの行動が攻撃者の意図に沿ったものかどうかで行った。防御策としては、プロンプトベース防御(システムプロンプトに防御指示を追加)、二段階検証(VLMの出力を別のVLMで検証)、前処理テキストマスキング(画像内のテキストをマスク)を実装し、それぞれの有効性を攻撃成功率の低減で評価した。

4. どうやって有効だと検証した?

有効性の検証は、5,670回の試行を通じて行われた。3つのVLM(GPT-4o, Gemini 2.5 Flash, Qwen3-VL-32B)に対して、攻撃成功率はそれぞれ27.0%、29.4%、5.0%であり、authority impersonationとnegation攻撃は全モデルに転移することが示された。推論トレースの分析では、攻撃成功時の99.9%でモデルが攻撃内容を意識的に承認していることが確認された。防御策の評価では、プロンプトベース防御はモデル依存で75-100%の有効性、二段階検証は85-100%、前処理テキストマスキングは100%の有効性を示した。また、防御策が一般的なタスク能力を維持することも確認されたが、シーン内ラベルの読み取りを必要とするタスクには悪影響を及ぼす可能性が示唆された。

5. 議論はある?

議論としては、VLM制御のロボットが人間が読める物理的な標識に対して実質的に脆弱であることが示されたが、単純な防御策でリスクを大幅に低減できることが分かった。ただし、防御策の選択にはトレードオフがあり、例えばテキストマスキングはシーン内ラベルの読み取りを必要とするタスクを損なう可能性がある。また、モデルによって防御機構が異なる(Geminiは明示的拒否、GPT-4oは知覚的無視)ことが観察され、これはモデルの設計に示唆を与える。さらに、攻撃成功がほぼ常に意識的であることから、モデルの推論プロセスにおける攻撃プロンプトの影響を理解することが重要である。しかし、本研究は特定のタスク(選別)と特定のVLMに限定されており、他のタスクやモデルへの一般化については要旨からは不明である。

6. 次に読むべき論文は?

次に読むべき論文としては、要旨で参照されているVLMのプロンプトインジェクション攻撃に関する先行研究(デジタル領域の攻撃)や、VLMをロボットに統合する際の安全性に関する研究が挙げられる。具体的には、画像に埋め込まれたテキストによるプロンプトインジェクション攻撃を扱った論文や、VLMの推論メカニズムを分析した研究が関連する。また、ロボットの安全性や堅牢性に関する一般的な研究も有用である。ただし、要旨に具体的な論文名は記載されていないため、同分野の定番として、VLMのプロンプトインジェクション攻撃に関するサーベイや、VLMベースのロボット制御の安全性に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: S. M . Bhagya P. Samarakoon, M. A. Viraj J. Muthugala, W. K. R. Sachinthana, Mohan Rajesh Elara

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language Models (VLMs) are increasingly deployed as planners in robotic systems, where they translate natural-language commands into executable actions grounded in visual scene understanding. This tight coupling between perception and instruction-following introduces a new attack surface: adversarial text placed within the robot's visual field can act as an indirect prompt injection into the VLM's reasoning stack. We present a systematic study of physical prompt injection attacks against VLM-controlled sorting, introducing a four-category taxonomy, indirect signage, task redefinition, authority impersonation, and conflict injection, instantiated as a benchmark of 20 attack prompts evaluated across three physical scene layouts and three command formulations that vary in destination specificity and rule explicitness. Across 5,670 trials on three frontier VLMs (GPT-4o, Gemini 2.5 Flash, Qwen3-VL-32B), attacks succeed at 27.0%, 29.4%, and 5.0% respectively, with authority-impersonating and negation attacks transferring across all three models. Analysis of reasoning traces reveals that successful compromise is nearly always conscious (99.9% acknowledgment rate), and that models defend through structurally different mechanisms, explicit rejection for Gemini, perceptual inattention for GPT-4o. We evaluate three simple mitigations: prompt-based defense (75-100% effective, model-dependent), two-stage verification (85-100%), and pre-processing text masking (100%). Our findings show that VLM-controlled manipulation is meaningfully vulnerable to human-readable physical signage, and that simple defenses substantially reduce risk, though defense choice involves trade-offs. The defenses preserve general task capabilities in our benchmark, but they may impair tasks that require reading in-scene labels.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI