日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

バンディット攻撃arXiv:2610.10000

報酬抑制を超えて:有界報酬ウォームスタートバンディットに対する準最適オフライン攻撃

Beyond Reward Suppression: Near-Optimal Offline Attacks on Warm-Start Bandits with Bounded Rewards

シェア:XThreadsFacebookLINEはてブBluesky

ウォームスタート履歴に偽の行動・報酬ペアを注入する攻撃を研究し、ターゲット腕が低報酬境界付近にある場合、UCBをほぼ常にターゲット選択させるにはコストの一部をターゲット腕自体の宣伝に割り当てる必要があることを示し、最適なサブリニアコストを達成する攻撃を設計した。

詳しい要約

1. どんなもの?

- 本研究は、warm-start banditsに対するbounded offline attackを扱う。 - 攻撃者はdeployment前にwarm-start historyへ有効なaction-reward pairのみを注入できる。 - 目的はlearnerをtarget armに誤誘導しつつ攻撃コストを小さくすること。 - 既存研究が非target armの抑制に頼るのに対し、target itemの直接的なpromotionに着目。 - UCBやThompson Sampling、ε-greedyなど幅広いbanditアルゴリズムを対象とする。

2. 先行研究と比べてどこがすごい?

- 既存の攻撃は主に非target armのrewardを抑制する手法だった。 - 本研究はtarget promotionが単なるheuristicでないことを理論的に示す。 - target armがlower reward boundary付近にある場合、UCBに対するorder-optimal-cost攻撃はtarget armに非消滅的なコスト配分を必要とする。 - 最適なsublinear costを達成する攻撃を設計し、target promotionと非target suppressionの配分を特徴づける。 - 従来の抑制中心の攻撃より現実的なfake reviewsなどの操作を捉える。

3. 技術・手法の肝は?

- warm-start historyに有効なaction-reward pairを注入するoffline attackを定式化。 - UCBに対して、target armがほぼ全てのonline roundで選択されるようにする攻撃を設計。 - 攻撃コストをsublinearに抑えつつ、target promotionと非target suppressionの最適配分を導出。 - Thompson Samplingやε-greedy、より広いクラスのbanditアルゴリズムへ拡張。 - 理論解析により、target armがlower reward boundary付近にある場合のコスト配分の必要性を証明。

4. どうやって有効だと検証した?

- 実世界データと合成データを用いた実験で攻撃の有効性を検証。 - 実験により、提案攻撃がtarget armをほぼ全てのonline roundで選択させることを確認。 - 攻撃コストがsublinearであること、およびtarget promotionと非target suppressionの配分が理論通りであることを実証。 - 複数のbanditアルゴリズム(UCB, Thompson Sampling, ε-greedy)に対する有効性を確認。

5. 議論はある?

- target promotionが理論的に必要となる条件(target armがlower reward boundary付近)を明示。 - 攻撃コストの最適性と配分の特徴づけを議論。 - より広いクラスのbanditアルゴリズムへの拡張可能性を議論。 - 実世界への応用(fake reviewsなど)との関連を議論。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- UCB, Thompson Sampling, ε-greedyに関する元論文。 - warm-start banditsの研究。 - offline attacks on banditsの先行研究。 - adversarial attacks on banditsの関連手法。 - 要旨で参照/比較されている具体的な研究は明記されていないため、同分野の定番を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qirun Zeng, Manhin Poon, Xiangxiang Dai, Qixin Zhang, Jinhang Zuo

分類: cs.LG, cs.AI

原文アブストラクト

Adversarial attacks on bandits aim to mislead a learner toward a target arm while keeping the attack cost small. Existing attacks typically achieve this by suppressing non-target arms. In practice, however, manipulation such as fake reviews often directly promotes the target item. We study this gap through bounded offline attacks on warm-start bandits, where an attacker can inject only valid action-reward pairs into the warm-start history before deployment. We show that target promotion is not merely a heuristic: when the target arm lies near the lower reward boundary, any order-optimal-cost attack against UCB that makes it selected in nearly all online rounds must allocate a nonvanishing fraction of its cost to the target arm. We then design an attack that achieves the optimal sublinear cost and characterize its allocation between target promotion and non-target suppression. We further extend the attack to Thompson Sampling, $ε$-greedy, and a broader class of bandit algorithms. Experiments on real-world and synthetic data validate the effectiveness of our attacks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI