日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/セキュリティarXiv:2605.09638

Plan2Cleanse: モンテカルロ計画による深層強化学習のテスト時バックドア防御

Plan2Cleanse: Test-Time Backdoor Defense via Monte-Carlo Planning in Deep Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

強化学習モデルに埋め込まれたバックドア攻撃を、再学習なしでテスト時に検出・無害化するフレームワークを提案。モンテカルロ木探索を計画問題として適用し、ブラックボックスでトリガー探索と防御的再計画を行う。

詳しい要約

1. どんなもの?

- 強化学習(RL)モデルに対するバックドア攻撃を、テスト時に検出・緩和するフレームワーク「Plan2Cleanse」を提案。 - モデルの再学習を必要とせず、Monte Carlo Tree Search(MCTS)を適応させてバックドアを特定・無効化する。 - バックドア検出を計画問題として再定式化し、時間的に拡張されたトリガー系列を体系的に探索する。 - 対象ポリシーへのブラックボックスアクセスを維持しつつ、検出結果を活用した予防的再計画により緩和も実現。

2. 先行研究と比べてどこがすごい?

- 従来のバックドア防御はモデル再学習やホワイトボックスアクセスを必要とすることが多いが、本手法はテスト時のみで動作し再学習不要。 - ブラックボックス設定で時間的に拡張されたトリガー系列を探索できる点が新しい。 - 検出だけでなく、ツリー探索による予防的再計画で緩和まで一貫して行う点が先行研究と異なる。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は?

- Monte Carlo Tree Search(MCTS)をバックドア検出の計画問題に適用。 - 時間的に拡張されたトリガー系列を体系的に探索し、バックドアの存在を検出。 - 検出結果を利用し、ツリー探索による preventive replanning でバックドアを緩和。 - 対象ポリシーはブラックボックスとして扱い、再学習を必要としない。

4. どうやって有効だと検証した?

- 競争的な MuJoCo 環境、シミュレートされた O-RAN 無線ネットワーク、Atari ゲームで評価。 - ステルス性の高い O-RAN シナリオでトリガー検出成功率が 61.4 パーセントポイント以上向上。 - 競争的 Humanoid 環境で勝率が 35% から 53% に改善。 - これらの結果からテスト時防御の有効性を実証。

5. 議論はある?

- テスト時防御の有効性と、RL 展開におけるバックドア脅威に対する proactive defense の重要性を強調。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、強化学習におけるバックドア攻撃(RL backdoor attacks)や、Monte Carlo Tree Search(MCTS)を用いた防御手法が挙げられる。 - 同分野の定番として、RL のセキュリティに関する研究や、テスト時防御(test-time defense)の一般手法を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sze-Ann Chen, Zhi-Yi Chin, Kui-Yuan Chen, Chi-Yu Li, Ping-Chun Hsieh

分類: cs.LG

原文アブストラクト

Ensuring the security of reinforcement learning (RL) models is critical, particularly when they are trained by third parties and deployed in real-world systems. Attackers can implant backdoors into these models, causing them to behave normally under typical conditions, but execute malicious behaviors when specific triggers are activated. In this work, we propose Plan2Cleanse, a test-time detection and mitigation framework that adapts Monte Carlo Tree Search to efficiently identify and neutralize RL backdoor attacks without requiring model retraining. Our approach recasts backdoor detection as a planning problem, enabling systematic exploration of temporally extended trigger sequences while maintaining black-box access to the target policy. By leveraging the detection results, Plan2Cleanse can further achieve efficient mitigation through tree-search preventive replanning. We evaluated our method in competitive MuJoCo environments, simulated O-RAN wireless networks, and Atari games. Plan2Cleanse achieves substantial improvements, increasing trigger detection success rates by more than 61.4 percentage points in stealthy O-RAN scenarios and improving win rates from 35\% to 53\% in competitive Humanoid environments. These results demonstrate the effectiveness of our test-time defense approach and highlight the importance of proactive defenses against backdoor threats in RL deployments. Our implementation is publicly available at https://github.com/rl-bandits-lab/RL-Backdoor.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI