日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習セキュリティarXiv:2602.05089

信頼できないシミュレータに注意:強化学習における報酬なしバックドア攻撃

Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

シミュレータのダイナミクスを改ざんして、報酬を操作せずに強化学習エージェントに行動レベルのバックドアを仕込み、特定のトリガーで危険な行動を引き起こす攻撃手法「Daze」を提案し、実機ロボットへの転移も示した。

詳しい要約

1. どんなもの?

- シミュレータの動力学を悪用し、RLエージェントにaction-level backdoorを仕込む新たな脅威を提示。 - 敵対的開発者がシミュレータを改変し、特定のtriggerで標的actionを発動させる。 - 報酬を変更・観測せずにbackdoorを埋め込む攻撃Dazeを提案。 - 離散・連続action空間で評価し、実ロボットへの転移も初めて示す。

2. 先行研究と比べてどこがすごい?

- 従来のbackdoor攻撃は報酬への完全なアクセスや訓練パイプラインの制御を前提とし、脅威モデルが強い。 - シミュレータ内ではそのような前提は非現実的。 - Dazeは報酬を変更も観測もせずにbackdoorを埋め込み、より現実的な脅威モデルを実現。 - 一般RLタスクでの攻撃成功を形式的に保証し、離散・連続action空間で実証。 - 実ロボットへの転移例を初めて提示。

3. 技術・手法の肝は?

- シミュレータの動力学を改変し、エージェントのaction選択に影響を与える。 - 報酬に依存せず、trigger観測時に標的actionを発動させるbackdoorを埋め込む。 - 形式的証明により、一般的RLタスクでの攻撃成功を保証。 - 離散・連続action空間の両方に適用可能。

4. どうやって有効だと検証した?

- 離散および連続action空間ドメインで広範な実証評価を実施。 - 形式的証明により攻撃成功を保証。 - 実ロボットハードウェアへの転移を初めて実証。

5. 議論はある?

- シミュレータがセキュリティの盲点であることを強調。 - RL訓練パイプラインの全コンポーネントのセキュリティ確保に向けた更なる研究を促す。 - 攻撃の危険性と対策の必要性を議論。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、従来のRLに対するbackdoor攻撃(報酬を変更・観測するもの)が挙げられる。 - 同分野の定番として、RLのセキュリティや敵対的攻撃に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ethan Rathbun, Wo Wei Lin, Alina Oprea, Christopher Amato

分類: cs.CR, cs.LG, cs.RO

原文アブストラクト

Simulated environments are a key piece in the success of Reinforcement Learning (RL), allowing practitioners and researchers to train decision making agents without running expensive experiments on real hardware. Simulators remain a security blind spot, however, enabling adversarial developers to alter the dynamics of their released simulators for malicious purposes. Therefore, in this work we highlight a novel threat, demonstrating how simulator dynamics can be exploited to stealthily implant action-level backdoors into RL agents. The backdoor then allows an adversary to reliably activate targeted actions in an agent upon observing a predefined ``trigger'', leading to potentially dangerous consequences. Traditional backdoor attacks are limited in their strong threat models, assuming the adversary has near full control over an agent's training pipeline, enabling them to both alter and observe agent's rewards. As these assumptions are infeasible to implement within a simulator, we propose a new attack ``Daze'' which is able to reliably and stealthily implant backdoors into RL agents trained for real world tasks without altering or even observing their rewards. We provide formal proof of Daze's effectiveness in guaranteeing attack success across general RL tasks along with extensive empirical evaluations on both discrete and continuous action space domains. We additionally provide the first example of RL backdoor attacks transferring to real, robotic hardware. These developments motivate further research into securing all components of the RL training pipeline to prevent malicious attacks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI