日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/自動運転arXiv:2606.21172

BadDreamer: 自動運転向けビデオワールドモデルに対する転移可能なバックドア攻撃

BadDreamer: Transferable Backdoor Attacks against Video World Models for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転のビデオワールドモデルに、特定のトリガー(黄色い配達ライダー)が現れると未来フレームで消えるように学習させるバックドア攻撃を提案し、下流の行動予測を危険な方向に誘導できることを示した。

詳しい要約

1. どんなもの?

- 自動運転向けのVideo World Modelに対する、学習時バックドア攻撃「BadDreamer」を提案。 - 知覚から行動へのパイプラインにおいて、未来予測の時空間表現を汚染する。 - 特定の物理トリガー(黄色い配達員)が現れると、未来フレームからその存在を消し去り、道路が空いていると幻覚させる。 - この汚染された表現が下流の行動モジュールに転移し、非回避的なwaypoint予測を引き起こす。

2. 先行研究と比べてどこがすごい?

- 従来のバックドアは画像ラベル、プロンプト出力、行動監督を操作するが、BadDreamerはVideo World Modelの学習された遷移ダイナミクスを汚染する点で異なる。 - 下流のego-trajectoryラベルを直接変更せずに、未来認識表現を介して行動モジュールに影響を与える転移性を示す。 - 自動運転のVideo World Modelの学習時セキュリティリスクを初めて明らかにする。

3. 技術・手法の肝は?

- トリガー消去シーケンスを構築:観測コンテキストフレームには対向する黄色い配達員が写るが、未来フレームでは消去されている。 - このようなシーケンスのごく一部でfine-tuningすることで、モデルに隠れた条件付き連想を学習させる。 - 物理トリガーが現れると、配達員が消えて道路が空に見える未来を幻覚する。 - この汚染された未来認識表現が下流の行動モジュールに転移する。

4. どうやって有効だと検証した?

- 代表的なオープンソースの知覚から行動へのパイプライン上で攻撃を実装。 - 実験により、表現レベルの安全リスクを明らかにし、クリーンな生成品質を超えたバックドア対応の検証の必要性を強調。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 自動運転のVideo World Modelにおける表現レベルの安全リスクを指摘。 - クリーンな生成品質だけでは不十分で、バックドアを意識した検証が必要であると議論。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Video World Models、Backdoor Attacks、Autonomous Driving Perception-to-Action Pipelinesに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhe Shuai, Xiaopeng Xie, Yikun Zeng

分類: cs.CV

原文アブストラクト

Video world models are increasingly used in autonomous driving to forecast future scene evolution and provide future-aware spatio-temporal representations for downstream action prediction. In perception-to-action pipelines, these representations can directly influence ego-vehicle waypoint planning, making the learned future dynamics a critical security-sensitive component. Despite their promise, the training-time security risks of autonomous-driving video world models remain largely unexplored. We present BadDreamer, a transferable spatio-temporal backdoor attack that targets the perception side of this pipeline. Unlike conventional backdoors that manipulate image labels, prompt outputs, or action supervision, BadDreamer poisons the learned transition dynamics of a video world model. It constructs trigger-erasure sequences in which an oncoming yellow delivery rider is visible in the observed context frames but erased from the future frames. After fine-tuning on a small fraction of such sequences, the compromised world model learns a hidden conditional association: when the physical trigger appears, it hallucinates a future where the rider disappears and the road appears clear. We further show that this corrupted future-aware representation can transfer to the downstream action module without directly modifying ego-trajectory labels, inducing unsafe non-evasive waypoint predictions. Our experiments instantiate this attack on a representative open-source perception-to-action pipeline, revealing a representation-level safety risk in autonomous-driving video world models and highlighting the need for backdoor-aware validation beyond clean generation quality.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI