日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/強化学習arXiv:2609.07051

TrojanWorld: 想像力の誘導によるワールドモデルエージェントへのバックドア攻撃

TrojanWorld: Backdooring World-Model Agents via Imagination Steering

シェア:XThreadsFacebookLINEはてブBluesky

物理的な物体をトリガーとして、ワールドモデルエージェントの内部想像を操作し、攻撃者が指定した行動を誘発するバックドア攻撃フレームワークを提案した。

詳しい要約

1. どんなもの?

TrojanWorldは、model-based reinforcement learningエージェントの世界モデルに対するバックドア攻撃フレームワークである。物理的な物体をトリガーとしてシーンに配置し、エージェントの観測パイプラインを通じて攻撃を活性化させる。内部の想像(imagination)を操作することで、攻撃者が指定した行動を誘発する。

2. 先行研究と比べてどこがすごい?

従来のバックドア攻撃は主に画像分類や単一のポリシーに焦点を当てており、世界モデルを用いたインタラクティブなエージェントへの脅威は未探索だった。TrojanWorldは、世界モデルの供給チェーン攻撃に着目し、物理的なトリガーによる展開時活性化を実現している点が新しい。また、意思決定フィードバックを用いて想像を操作する点や、トリガー除去後も持続する行動軌跡を誘発する点が先行研究と異なる。

3. 技術・手法の肝は?

TrojanWorldは3つのメカニズムを組み合わせる。Decision-Reflective Inductionは、意思決定フィードバックを用いてトリガー条件付きの想像を攻撃者が指定した行動へ誘導する。Clean Behavior Anchoringは、トリガーがない場合の予測と行動の忠実性を維持する。Causal Propagationは、トリガーが消えた後も誘発された選好をその後の軌跡に持続させる。これにより、物理的知覚から想像の破壊、悪意ある行動選択までのエンドツーエンドの攻撃チェーンを構築する。

4. どうやって有効だと検証した?

TD-MPC2、DreamerV3、R2-Dreamerシステムを、DeepMind Control、MetaWorld、MyoSuite、RoboDeskベンチマークで評価した。トリガー活性化時、target-action deviationは最小0.026を達成し、クリーン性能の少なくとも98.8%を維持した。トリガー除去後も、攻撃されたエージェントは誘発された行動軌跡に留まり、攻撃者が指定した行動を実行し続けることを示した。

5. 議論はある?

要旨からは、攻撃の検出可能性や防御策に関する議論は不明。また、物理的トリガーの実世界での頑健性や、異なる環境での一般化についての限界は明示されていない。さらに、攻撃がエージェントの安全性に与える影響や倫理的懸念についての議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されているシステムはTD-MPC2、DreamerV3、R2-Dreamerであり、これらに関する論文が次に読むべき候補である。また、バックドア攻撃の一般的な研究として、BadNetsやNeural Cleanseなどの関連手法も挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenkai Huang, Siyuan Liang, Gaolei Li, Yiming Li, Tianhao Peng, Jianhua Li, Dacheng Tao

分類: cs.LG, cs.CR

原文アブストラクト

World models increasingly serve as the predictive core of model-based reinforcement learning agents, enabling them to simulate future dynamics and reason over imagined trajectories before acting. Their substantial training demands make pretrained world models attractive for distribution and reuse, exposing downstream systems to model supply chain threats. Backdoor attacks offer a targeted and stealthy means of exploiting such supply chains, yet their threat to interactive world-model agents remains largely unexplored. To fill this gap, we present TrojanWorld, a backdoor framework for world-model agents that induces attacker-specified behavior by steering internal imagination. A physical object placed in the scene acts as the trigger, enabling deployment-time activation through the agent's native observation pipeline without digitally manipulating the observation stream. To achieve effective, stealthy, and persistent control, TrojanWorld combines Decision-Reflective Induction to steer trigger-conditioned imagination toward attacker-specified actions using decision feedback, Clean Behavior Anchoring to preserve trigger-free predictive and behavioral fidelity, and Causal Propagation to sustain the induced preference along subsequent trajectories after the trigger disappears. Together, these mechanisms establish an end-to-end attack chain from physical perception through corrupted imagination to malicious action selection. Experiments with the TD-MPC2, DreamerV3, and R2-Dreamer systems across the DeepMind Control, MetaWorld, MyoSuite, and RoboDesk benchmarks show that under trigger activation, TrojanWorld achieves a target-action deviation as low as 0.026 while retaining at least 98.8% of the corresponding clean performance. Even after trigger removal, the compromised agent can remain trapped in the induced behavioral trajectory, continuing to execute attacker-specified actions.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI