日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃arXiv:2602.18739

世界モデルが誤って夢を見るとき:物理条件付き敵対的攻撃

When World Models Dream Wrong: Physical-Conditioned Adversarial Attacks against World Models

シェア:XThreadsFacebookLINEはてブBluesky

生成的世界モデルの物理条件チャネルを摂動させ、知覚品質を保ちつつ意味・論理・意思決定レベルの歪みを引き起こす初のホワイトボックス攻撃手法を提案し、下流タスクへの危険性を定量化した。

詳しい要約

1. どんなもの?

- 生成的世界モデル(WMs)に対する新たな攻撃手法「Physical-Conditioned World Model Attack (PhysCond-WMA)」を提案。 - 物理条件チャネル(HDMap埋め込み、3Dボックス特徴)を摂動させ、知覚的忠実性を保ちつつ意味的・論理的・意思決定レベルの歪みを誘発する。 - 初のホワイトボックス世界モデル攻撃であり、制御可能なセンサ条件付き運転動画生成の脆弱性を明らかにする。

2. 先行研究と比べてどこがすごい?

- 従来の世界モデル攻撃は存在せず、本手法が初のホワイトボックス攻撃。 - 物理条件チャネルを摂動させる点が新規。 - 知覚的忠実性を維持しながら意味的歪みを生じさせる点で先行研究と異なる。

3. 技術・手法の肝は?

- 2段階最適化: - 品質保持ガイダンス段階:逆拡散損失を校正済み閾値以下に制約。 - モメンタム誘導デノイジング段階:デノイジング軌跡に沿ってターゲット整合勾配を蓄積し、安定かつ時間的に一貫した意味シフトを実現。

4. どうやって有効だと検証した?

- 広範な実験で有効性を検証。 - FIDが平均約9%増加、FVDが平均約3.9%増加。 - ターゲット攻撃設定で攻撃成功率(ASR)0.55。 - 下流研究:攻撃動画で訓練すると3D検出性能が約4%低下、開ループ計画性能が約20%悪化。

5. 議論はある?

- 生成的世界モデルのセキュリティ脆弱性を初めて明らかにし定量化。 - より包括的なセキュリティチェッカーの必要性を促す。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Diffusion Models、World Models、Adversarial Attacks on Generative Models などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhixiang Guo, Siyuan Liang, Andras Balogh, Noah Lunberry, Rong-Cheng Tu, Mark Jelasity, Dacheng Tao

分類: cs.LG

原文アブストラクト

Generative world models (WMs) are increasingly used to synthesize controllable, sensor-conditioned driving videos, yet their reliance on physical priors exposes novel attack surfaces. In this paper, we present Physical-Conditioned World Model Attack (PhysCond-WMA), the first white-box world model attack that perturbs physical-condition channels, such as HDMap embeddings and 3D-box features, to induce semantic, logic, or decision-level distortion while preserving perceptual fidelity. PhysCond-WMA is optimized in two stages: (1) a quality-preserving guidance stage that constrains reverse-diffusion loss below a calibrated threshold, and (2) a momentum-guided denoising stage that accumulates target-aligned gradients along the denoising trajectory for stable, temporally coherent semantic shifts. Extensive experimental results demonstrate that our approach remains effective while increasing FID by about 9% on average and FVD by about 3.9% on average. Under the targeted attack setting, the attack success rate (ASR) reaches 0.55. Downstream studies further show tangible risk, which using attacked videos for training decreases 3D detection performance by about 4%, and worsens open-loop planning performance by about 20%. These findings has for the first time revealed and quantified security vulnerabilities in generative world models, driving more comprehensive security checkers.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI