日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2605.01950

TRAP: ワールドモデル計画のためのテール認識ランキング攻撃

TRAP: Tail-aware Ranking Attack for World-Model Planning

シェア:XThreadsFacebookLINEはてブBluesky

ワールドモデルの想像軌道のランキング構造を標的としたバックドア攻撃フレームワークTRAPを提案し、計画結果を乗っ取る。

詳しい要約

1. どんなもの?

- World Model ベースのエージェントに対する新たな backdoor attack 脆弱性を提示 - 想像上の trajectory の long-tailed ranking 構造を標的とする - 提案手法 TRAP は tail-aware ranking loss と dual gating で構成 - トリガー条件下で trajectory の相対順位を操作し計画を乗っ取る - クリーン入力では通常の ranking 構造をほぼ維持 - DreamerV3 と TD-MPC2 で有効性を実証

2. 先行研究と比べてどこがすごい?

- 既存 backdoor は局所特徴・1ステップ予測・即時 policy 出力を操作 - これらは reactive な弱いモデルには有効だが World Model には不十分 - World Model は学習済み dynamics prior と planning が浅い摂動を吸収・洗い流す - 本研究は想像 trajectory の long-tailed ranking 構造に根ざす脆弱性を新規に発見 - 決定に重要な少数 trajectory の順序を崩すことで計画を体系的に乗っ取れる点が独自

3. 技術・手法の肝は?

- 想像 trajectory の ranking を標的とする backdoor attack フレームワーク TRAP - tail-aware ranking loss で決定に重要な trajectory に最適化を集中 - dual gating 機構で最適化を安定化し、攻撃ペナルティの適用時期と場所を制御 - トリガー条件下で trajectory の相対順位を変更し計画結果を誘導 - クリーン入力では通常の ranking 構造を大きく維持するよう設計

4. どうやって有効だと検証した?

- DreamerV3 と TD-MPC2 を用いて多様なタスクで実験 - TRAP が持続的な行動逸脱と有意な性能劣化を一貫して引き起こすことを確認 - World Model ベースエージェントの専用セキュリティ評価の必要性を強調

5. 議論はある?

- World Model の想像駆動型意思決定が新たなセキュリティリスクを導入 - 既存の backdoor 目的は World Model には不十分であることを指摘 - long-tailed ranking 構造の脆弱性が計画乗っ取りに繋がることを議論 - 専用のセキュリティ評価の必要性を主張 - その他の議論や限界は要旨からは不明

6. 次に読むべき論文は?

- DreamerV3 - TD-MPC2 - 既存の backdoor attack(局所特徴・1ステップ予測・即時 policy 出力を標的とするもの) - World Model を用いた long-horizon planning に関する研究 - 関連手法として tail-aware ranking loss や dual gating を用いる研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyuan Duan, Ke Zhang, Xizhao Luo

分類: cs.LG, cs.AI

原文アブストラクト

World models enable long-horizon planning by internally generating and evaluating imagined trajectories, making them a promising foundation for generalist agents. However, this imagination-driven decision process also introduces new security risks. Existing backdoor attacks typically aim to manipulate local features, one-step predictions, or instantaneous policy outputs. While such objectives may suffice for weaker reactive models, they are often ineffective against world models, where the learned dynamics prior and planning process can absorb or wash out the effects of shallow perturbations. More importantly, we find that world models exhibit a distinct backdoor vulnerability rooted in the long-tailed ranking structure of imagined trajectories, where disrupting the ordering of a few decision-critical trajectories can systematically hijack planning. To exploit this vulnerability, we propose TRAP, a backdoor attack framework for world models that targets imagined trajectory ranking. TRAP combines a tail-aware ranking loss to focus optimization on decision-critical trajectories with dual gating mechanisms that stabilize optimization and regulate when and where the attack penalty is applied. Under trigger conditions, TRAP alters the relative ranking of imagined trajectories to redirect planning outcomes, while largely maintaining the normal ranking structure on clean inputs. Experiments on DreamerV3 and TD-MPC2 across diverse tasks show that TRAP consistently induces sustained behavioral deviations and significant performance degradation, highlighting the need for dedicated security evaluation of world-model-based agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI