日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/ワールドモデルarXiv:2606.09499

ロボット学習パイプラインを侵害するためのワールドモデル攻撃

Targeting World Models to Compromise Robot Learning Pipelines

シェア:XThreadsFacebookLINEはてブBluesky

ワールドモデルを介して、一見安全な遠隔操作データに悪意のあるプロンプトや遷移ダイナミクスを埋め込み、危険な合成訓練データを生成してロボットポリシーを侵害する新たなデータポイズニング攻撃手法を提案した。

詳しい要約

1. どんなもの?

- 本論文は、robot learning pipeline における world model の新たな脆弱性を提示する。 - world model は robot training data の生成や real world environment の simulation に使われ、data efficiency が高い。 - しかし、world model を介することで、一見安全な teleoperated dataset に malicious prompt や compromising transition dynamics を注入できる。 - これにより、synthetic で危険な robot training trajectory が生成され、unsafe または compromised な robot policy が学習される。 - 従来の data poisoning とは異なり、直接危険な trajectory を dataset に埋め込むのではなく、world model を通した時のみ攻撃が発動する stealthy な手法。

2. 先行研究と比べてどこがすごい?

- 従来の data poisoning は、販売・アップロードされた dataset に直接危険な trajectory を埋め込む。 - 本手法は、見た目上安全な teleoperated dataset に malicious prompt や compromising transition dynamics を注入する。 - 攻撃は world model に入力された時のみ活性化するため、従来手法より stealthy で効果的。 - world model を robot learning supply chain の新たな攻撃入口として特定した点が独自。 - 既存の data poisoning 対策では検出が難しい可能性を示唆。

3. 技術・手法の肝は?

- teleoperated dataset に malicious prompt または compromising transition dynamics を注入する。 - 注入されたデータは単体では安全に見えるが、world model を通過すると危険な synthetic trajectory を生成。 - 攻撃は action conditioned および text conditioned world model の両方に対して有効。 - 下流の DRL policy に対して end-to-end backdoor を成立させる。 - VLA setting では proof-of-concept を提示。

4. どうやって有効だと検証した?

- state of the art の action conditioned world model と text conditioned world model に対して攻撃の有効性を実証。 - 下流の DRL policy において full end-to-end backdoor を確認。 - VLA setting では proof-of-concept を示す。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- world model の安全性向上に向けた研究の必要性を強調。 - robot learning supply chain における world model の位置づけを再評価すべきと主張。 - 攻撃の検出や防御方法に関する議論は要旨からは不明。 - 倫理的影響や実世界への展開リスクについての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている具体的な先行研究は明記されていない。 - 関連手法として、action conditioned world model、text conditioned world model、DRL policy、VLA setting が挙げられる。 - 同分野の定番として、data poisoning、backdoor attack、robot learning pipeline のセキュリティに関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ethan Rathbun, Ahmed Agha, Saaduddin Mahmud, Christopher Amato, Alina Oprea, Eugene Bagdasarian

分類: cs.RO, cs.AI, cs.CR

原文アブストラクト

World models have recently seen a rapid growth in both their popularity and capability as more data efficient tools for generating robot training data or simulating real world environments, with many works proposing their integration into the robot learning pipeline. While highly practical, in this work we demonstrate that world models introduce a uniquely stealthy and effective data poisoning entry point into the robot learning supply chain that can result in the deployment of unsafe or otherwise compromised robotic policies despite training on seemingly safe ground truth training data. In contrast to traditional data poisoning techniques which directly implant dangerous trajectories into sold or uploaded datasets, our novel attack methods inject malicious prompts or compromising transition dynamics into visibly safe teleoperated datasets which are only activated once fed through a world model as input. This can result in the generation of synthetic, dangerous robot training trajectories and subsequently unsafe or compromised robot policies. We demonstrate the effectiveness of our attacks against both state of the art action conditioned and text conditioned world models, showing a full end-to-end backdoor on a downstream DRL policy and a proof-of-concept for the VLA setting. Overall these findings necessitate research into more secure world models and reevaluating their position within the robot learning supply chain.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI