日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.23117

TRAP: 敵対的パッチによるVLAのCoT推論ハイジャック

TRAP: Hijacking VLA CoT-Reasoning via Adversarial Patches

シェア:XThreadsFacebookLINEはてブBluesky

CoT推論を行うVLAモデルに対し、テーブルクロスなどの敵対的パッチを用いて推論経路を操作し、指示とは異なる危険な行動を引き起こす攻撃手法を提案した。

詳しい要約

1. どんなもの?

- VLAモデルにおけるCoT推論のセキュリティ脆弱性を突く新たな攻撃手法「TRAP」を提案。 - CoT推論を標的にした初のターゲット型行動ハイジャック攻撃。 - 敵対的パッチ(例:テーブルクロス)を用いて、ユーザ指示を変えずにロボットの行動を攻撃者定義の行動に誘導。 - 例:リンゴではなくナイフを人に渡すなど。 - 実世界で紙に印刷したパッチでも有効性を確認。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルへの攻撃は主に入力やモデル自体を対象としていたが、CoT推論メカニズムのセキュリティは未探索だった。 - TRAPはCoT推論を標的とした初のターゲット型行動ハイジャック攻撃であり、推論から行動への経路を狙う点が新しい。 - ユーザ指示を変更せずに行動を乗っ取れることを実証。

3. 技術・手法の肝は?

- CoT推論が行動生成を強く支配することを経験的に示し、入力指示と意味的に不一致でも行動に影響することを確認。 - 推論から行動への経路を標的に、敵対的パッチ(例:テーブルクロス)を用いて中間CoT推論と下流行動を攻撃者定義の行動に誘導。 - パッチは実世界で紙に印刷可能。

4. どうやって有効だと検証した?

- 3つの代表的な推論VLAモデル(異なるCoT推論メカニズム)で広範な評価を実施。 - TRAPの有効性を実証。 - 実世界設定でパッチを紙に印刷して実装し、有効性を確認。

5. 議論はある?

- CoT推論のセキュリティ確保の緊急性を強調。 - 攻撃の詳細な影響や防御策については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、VLAモデル(例:RT-1, RT-2, PaLM-E)やCoT推論、敵対的攻撃(例:adversarial patches)に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengxian Huang, Wenjun Zhu, Haoxuan Qiu, Xiaoyu Ji, Wenyuan Xu

分類: cs.CR, cs.AI, cs.RO

原文アブストラクト

By integrating Chain-of-Thought (CoT) reasoning, Vision-Language-Action (VLA) models have demonstrated strong capabilities in robotic manipulation, particularly by improving generalization and interpretability. However, the security of CoT-based reasoning mechanisms remains largely unexplored. In this paper, we show that CoT reasoning introduces a novel attack vector for targeted behavior hijacking--for example, causing a robot to mistakenly deliver a knife to a person instead of an apple--without modifying the user's instruction. We first provide empirical evidence that CoT strongly governs action generation, even when it is semantically misaligned with the input instructions. Building on this observation, we propose TRAP, the first targeted behavior-hijacking adversarial attack against CoT-reasoning VLA models. By targeting the reasoning-to-action pathway, TRAP uses an adversarial patch (e.g., a tablecloth placed on the table) to steer intermediate CoT reasoning and downstream actions toward adversary-defined behaviors. Extensive evaluations on three representative reasoning VLAs, spanning distinct CoT reasoning mechanisms, demonstrate the effectiveness of TRAP. Notably, we implemented the patch by printing it on paper in a real-world setting. Our findings highlight the urgent need to secure CoT reasoning in VLA systems. The project page is available at https://zhengxian-huang.github.io/TRAP-website/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI