日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃arXiv:2511.09681

SEBA: 視覚強化学習に対するサンプル効率の良いブラックボックス攻撃

SEBA: Sample-Efficient Black-Box Attacks on Visual Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚強化学習エージェントを騙すための、環境クエリを抑えたブラックボックス敵対的攻撃フレームワークSEBAを提案。シャドウQモデル、GAN、ワールドモデルを組み合わせ、MuJoCoとAtariで有効性を示した。

詳しい要約

1. どんなもの?

- 視覚ベースの強化学習(visual RL)エージェントに対するblack-box adversarial attackのフレームワーク「SEBA」を提案した研究。 - 連続行動・画像入力のvisual control/roboticsを対象とし、環境クエリを抑えたsample-efficientな攻撃を目指す。 - MuJoCoとAtariのベンチマークで評価。

2. 先行研究と比べてどこがすごい?

- 既存のblack-box攻撃はvector-basedやdiscrete-actionのRLが中心で、image-based continuous controlでは大きなaction spaceと過剰なenvironment queriesにより効果が限定的だった。 - SEBAはこれら先行のblack-box攻撃に加えwhite-box手法と比較しても、累積報酬を大きく低下させ、visual fidelityを保ちつつ環境とのinteractionを大幅に削減できると主張。

3. 技術・手法の肝は?

- 3つの構成要素を統合: 敵対条件下の累積報酬を見積もるshadow Q model、視覚的に知覚しにくいperturbationを生成するgenerative adversarial network (GAN)、実環境クエリを減らすために環境dynamicsを模擬するworld model。 - shadow modelの学習とgeneratorの精緻化を交互に行うtwo-stage iterative training procedureを採用。

4. どうやって有効だと検証した?

- MuJoCoおよびAtariベンチマークで実験。 - 評価軸は累積報酬の低下、visual fidelityの保持、環境interaction回数の削減で、先行のblack-box/white-box手法と比較。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、攻撃の転移性や防御側の議論には触れられていない)。

6. 次に読むべき論文は?

- 要旨で参照/比較されている先行のblack-box攻撃およびwhite-box攻撃の関連研究。 - 構成要素として用いられているworld model、shadow Q model、GANベースのadversarial perturbation生成に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tairan Huang, Yulin Jin, Junxu Liu, Qingqing Ye, Haibo Hu

分類: cs.LG, cs.AI

原文アブストラクト

Visual reinforcement learning has achieved remarkable progress in visual control and robotics, but its vulnerability to adversarial perturbations remains underexplored. Most existing black-box attacks focus on vector-based or discrete-action RL, and their effectiveness on image-based continuous control is limited by the large action space and excessive environment queries. We propose SEBA, a sample-efficient framework for black-box adversarial attacks on visual RL agents. SEBA integrates a shadow Q model that estimates cumulative rewards under adversarial conditions, a generative adversarial network that produces visually imperceptible perturbations, and a world model that simulates environment dynamics to reduce real-world queries. Through a two-stage iterative training procedure that alternates between learning the shadow model and refining the generator, SEBA achieves strong attack performance while maintaining efficiency. Experiments on MuJoCo and Atari benchmarks show that SEBA significantly reduces cumulative rewards, preserves visual fidelity, and greatly decreases environment interactions compared to prior black-box and white-box methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI