日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

RLHF/選好最適化arXiv:2610.24945

選好ラベル反転攻撃に頑健な直接選好最適化

Robust Direct Preference Optimization under Preference Label-Flip Attacks

シェア:XThreadsFacebookLINEはてブBluesky

敵対的な選好ラベル反転攻撃に対抗するため、影響の大きいペアを除去・減重するTrim-K Robust-DPOを提案し、理論的な勾配摂動限界と実験で有効性を示した論文。

詳しい要約

1. どんなもの?

- DPO(Direct Preference Optimization)に対する preference label-flip 攻撃への防御手法を提案する研究。 - 攻撃者は preference pair のラベルを反転させ、学習者を攻撃者の選んだ target policy へ誘導しようとする。 - 提案手法は Trim-$K$ Robust-DPO と Soft-Trim-$K$ Robust-DPO の2種類。 - 理論保証と Stanford Human Preferences, HH-RLHF, UltraFeedback-Binarized での実験検証を含む。

2. 先行研究と比べてどこがすごい?

- 先行研究により DPO が adversarial preference label flip 攻撃で容易に操作され得ることが示されている。 - 本論文はその攻撃に対抗できる robust DPO 手法を設計する点が新規。 - log-linear DPO において label flip が parameter-independent な gradient shift を生む性質を利用する点が特徴。 - 最大 $K$ 個の flip を含む全ての攻撃集合に対し、deterministic な gradient perturbation bound を一様に与える点が先行研究との差分。 - 防御由来の bias と残存する攻撃効果を明示的に分離して評価する点も特徴。

3. 技術・手法の肝は?

- log-linear DPO では label flip が parameter に依存しない gradient shift を引き起こす性質を利用。 - Trim-$K$ Robust-DPO は影響度の高い $K$ 個の pair を除去する。 - Soft-Trim-$K$ Robust-DPO はそれらを滑らかに downweight する。 - 最大 $K$ 個の flip を含む攻撃集合に対し deterministic な gradient perturbation bound を一様に導出。 - その bound から bounded-region 仮定の下で time-uniform な parameter および policy の deviation guarantee を得る。 - quadratic regularization が curvature を改善する一方で追加の bias を導入することも定量化。

4. どうやって有効だと検証した?

- Stanford Human Preferences, HH-RLHF, UltraFeedback-Binarized の3データセットで実験。 - 実験により理論解析を検証したと述べられている。 - 具体的な評価指標や攻撃設定の詳細は要旨からは不明。

5. 議論はある?

- 防御により生じる bias と、防御後に残存する攻撃効果を分離して議論。 - bounded-region 仮定の下での time-uniform な parameter/policy deviation guarantee を提示。 - quadratic regularization は curvature を改善するが追加の bias を導入するトレードオフがある。 - 仮定が成立しない場合の挙動や実験上の限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照されている個別論文は不明。 - 関連手法として DPO(Direct Preference Optimization)と RLHF(Reinforcement Learning from Human Feedback)の原論文。 - 攻撃側の関連として adversarial preference label flip attack の先行研究。 - 頑健化の関連として robust preference optimization や preference poisoning に関する研究。 - 評価データセットとして Stanford Human Preferences, HH-RLHF, UltraFeedback-Binarized の原論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenye Yang, Weiyu Xu, Lifeng Lai

分類: cs.LG, cs.AI, stat.ML

原文アブストラクト

Direct Preference Optimization (DPO) is widely used for offline Reinforcement Learning from Human Feedback. However, recent works have shown that DPO can be easily manipulated by adversarial preference label flip attacks, which are specifically designed to mislead the learner toward an attacker-chosen target policy. To address this issue, we design robust DPO methods that can defend against such attacks. Building on the property that lable flips induce parameter-independent gradient shifts in log-linear DPO, we propose Trim-$K$ Robust-DPO, which removes the $K$ highest-impact pairs, and Soft-Trim-$K$ Robust-DPO, which smoothly downweights them. We establish deterministic gradient perturbation bounds uniformly over all attack sets containing at most $K$ flips, explicitly separating defense-induced bias from surviving attack effects. Under bounded-region assumptions, these bounds yield time-uniform parameter and policy deviation guarantees. We further quantify how quadratic regularization improves curvature while introducing additional bias. Experiments on Stanford Human Preferences, HH-RLHF, and UltraFeedback-Binarized validate our analysis.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI