日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/セキュリティarXiv:2606.18697

データポイズニングによるステルスな世界モデル操作

Stealthy World Model Manipulation via Data Poisoning

シェア:XThreadsFacebookLINEはてブBluesky

モデルベース強化学習エージェントの世界モデルを、微調整データのポイズニングによって操作し、計画を破綻させる攻撃手法SWAAPを提案した。

詳しい要約

1. どんなもの?

- 学習ベースのエージェントが用いる world model の更新プロセスに対するデータポイズニング攻撃を提案。 - 提案手法 SWAAP は、二段階のデータポイズニングフレームワーク。 - 第一段階で、計画時に低リターンを引き起こす有害な target world model を特定。 - 第二段階で、限られた割合の fine-tuning 遷移目標を改変し、victim model を adversarial target に誘導。 - 連続制御タスクで性能を大幅に劣化させ、防御を回避することを示す。

2. 先行研究と比べてどこがすごい?

- 従来のデータポイズニング研究は主に分類器や強化学習のポリシーを対象としていた。 - world model の学習プロセスに対する攻撃は、訓練時攻撃面として未開拓だった。 - SWAAP は初の二段階データポイズニングフレームワークであり、world model の動力学を操作する。 - 既存の非適応型防御(residual/CUSUM/TRIM スタイル)を回避できる点で優れる。 - 攻撃のステルス性を評価するため、ポイズニングパイプラインの三段階で検証している。

3. 技術・手法の肝は?

- 第一段階:transition-gradient theorem に基づく一階双レベル最適化を用い、有害な target world model を特定。 - 第二段階:stealth-constrained gradient matching により、限られた割合の fine-tuning 遷移目標を改変。 - 改変された遷移目標は、victim model を adversarial target に誘導する訓練勾配を生む。 - prediction-error regularizer により、ポイズンされた目標を world model の自然な近似誤差に近づける。 - これにより、ポイズン遷移がクリーンデータに近いまま攻撃が成立する。

4. どうやって有効だと検証した?

- 多様な連続制御タスクで評価を実施。 - SWAAP が性能を大幅に劣化させることを確認。 - ポイズンされた遷移がクリーンデータに近いことを示す。 - 評価した非適応型防御(residual/CUSUM/TRIM スタイル)を回避することを確認。 - ポイズニングパイプラインの三段階(事前学習検出、fine-tuning 中の堅牢訓練、テスト時監視)で防御と検出可能性を評価。

5. 議論はある?

- world model 適応パイプラインに実用的な脆弱性が存在することを明らかにした。 - world model の訓練データと学習された動力学の両方を保護する堅牢性手法の必要性を強調。 - 評価した防御は非適応型であり、適応型防御や他の防御手法への耐性は要旨からは不明。 - 攻撃のステルス性と性能劣化のトレードオフや限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:residual/CUSUM/TRIM スタイルの防御。 - 関連手法:model-based learning、world model、bilevel optimization、gradient matching。 - 同分野の定番:Dreamer、PlaNet、MBPO などの world model を用いた model-based RL 手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yibin Hu, Xiaolin Sun, Zizhan Zheng

分類: cs.LG, cs.CR, cs.RO

原文アブストラクト

Model-based learning agents use learned world models to predict future states, plan actions, and adapt to new environments. However, the process of updating world models from collected experience creates a training-time attack surface: adversarially poisoned fine-tuning trajectories can manipulate the learned dynamics and thereby corrupt downstream planning. In this paper, we propose SWAAP, the first two-stage data poisoning framework for learned world models. In the first stage, SWAAP identifies a harmful target world model that induces low-return behavior under planning while remaining close to clean dynamics, using first-order bilevel optimization enabled by a transition-gradient theorem. In the second stage, SWAAP realizes this target through stealth-constrained gradient matching, modifying only a limited fraction of fine-tuning transition targets so that the induced training gradients steer the victim model toward the adversarial target, while a prediction-error regularizer encourages the poisoned targets to remain close to the world model's natural approximation error. To assess attack stealthiness, we evaluate defenses and detectability across three stages of the poisoning pipeline: pre-training detection of poisoned transitions, robust training during fine-tuning, and test-time monitoring of the resulting world model. Across diverse continuous-control tasks, SWAAP causes substantial performance degradation while keeping poisoned transitions close to clean data and evading the evaluated non-adaptive residual/CUSUM/TRIM-style defenses. These results reveal a practical vulnerability in world-model adaptation pipelines and highlight the need for robustness methods that protect both world-model training data and learned dynamics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI