日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃arXiv:2607.15207

BadWAM: 世界行動モデルが正しく想像しても誤って行動するとき

BadWAM: When World-Action Models Dream Right but Act Wrong

シェア:XThreadsFacebookLINEはてブBluesky

世界行動モデル(WAM)に対する新しい敵対的攻撃フレームワークBadWAMを提案し、小さな視覚的摂動で想像と行動の整合性を崩す攻撃を評価した。

詳しい要約

1. どんなもの?

World-Action Models (WAMs) の新たな脆弱性を扱う研究。WAMs は行動生成と未来予測を結合し、想像した未来と行動を照合できるため頑健・解釈可能・安全とされるが、この前提が脆いことを示す。BadWAM は World-Action Drift Attacks と呼ぶ WAM 特有の敵対的攻撃をモデル化・評価する統合フレームワーク。小さな視覚摂動で「想像」と「実行」の整合を崩す。攻撃強度とステルス性の2基準で攻撃面を特徴づける。

2. 先行研究と比べてどこがすごい?

従来、WAMs の行動と未来予測の結合は頑健性・解釈性・安全性の源と見なされてきた。本研究はその仮定が脆いことを示し、WAM 特有の新たな攻撃クラス World-Action Drift Attacks を導入。行動のみを狙う攻撃と、想像を保ちつつ行動をずらす攻撃の2種で、WAM 特有の失敗スペクトルを捉える点が新しい。

3. 技術・手法の肝は?

BadWAM は攻撃強度とステルス性の2基準で攻撃面を特徴づける。敵対者が妨害を優先する場合、action-only adversarial attack を実現し、タスク失敗行動へ直接誘導。ステルスも優先する場合、imagination-preserving adversarial attack を実現し、予測未来をクリーンな想像に近づけつつ有害な行動シフトを誘発。これにより、露骨な行動ハイジャックから、もっともらしい未来を想像しながら非同期行動を実行するステルス事例までを捉える。

4. どうやって有効だと検証した?

異なる WAM 変種に対して BadWAM を評価。閉ループ実行下でタスク成功率を大幅に低下させた。例として action-only attack は成功率を 96.5% から 43.1% に低下。imagination-preserving attack は、中程度の future-preserving regularization により、未来想像のドリフトを抑えつつ強い攻撃性能を維持できることを示し、WAM 特有の脆弱性を明らかにした。

5. 議論はある?

WAMs の行動と未来予測の結合が安全性の源になるという前提は脆いと示唆。action-only attack は明白な行動ハイジャックを引き起こす一方、imagination-preserving attack はモデルがもっともらしい未来を想像しながら非同期行動を実行するステルス的失敗を露呈。中程度の future-preserving regularization が攻撃性能を保ちつつ未来想像ドリフトを低減できる点も議論。

6. 次に読むべき論文は?

要旨で参照・比較されている個別研究は明示されていない。関連手法として World-Action Models (WAMs)、action-only adversarial attack、imagination-preserving adversarial attack、future-preserving regularization が挙げられる。同分野の定番として adversarial attacks on embodied control、world models、model-based reinforcement learning を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qi Li, Xingyi Yang, Xinchao Wang

分類: cs.LG, cs.RO

原文アブストラクト

World-action models (WAMs) are emerging as a promising foundation for embodied control: rather than predicting actions alone, they learn representations that couple action generation with future world prediction. This coupling is often viewed as a source of robustness, interpretability, and safety, as a robot's action can in principle be checked against its imagined future. In this paper, we show that this assumption is fragile. We introduce BadWAM, a unified framework for modeling and evaluating World-Action Drift Attacks: a new class of WAM-specific adversarial attacks that use small visual perturbations to break the alignment between what a WAM imagines and what it executes. BadWAM characterizes this attack surface along two natural criteria: attack strength and stealthiness. When the adversary prioritizes disruption, BadWAM instantiates an action-only adversarial attack, which directly drives the model toward task-failing actions. When the adversary additionally prioritizes stealth, BadWAM instantiates an imagination-preserving adversarial attack, which seeks to induce harmful action shifts while keeping the model's predicted future close to its clean imagination. Together, these two attacks capture a spectrum of WAM-specific failures: from overt action hijacking to stealthier cases where the model appears to imagine a plausible future but executes a desynchronized action. We evaluate BadWAM across different variants of WAMs. Results show that our attacks substantially reduce task success rates under closed-loop execution. For example, our action-only attack reduces the model performance from 96.5% to 43.1% success. The results of our imagination-preserving attack further exposes a WAM-specific vulnerability: moderate future-preserving regularization can maintain strong attack performance while reducing future imagination drift.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI