日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

プライバシーarXiv:2609.13499

銀行の中のカナリア:Private Evolutionにおけるユーザーレベルプライバシーの監査

Canaries in the Bank: Auditing User-Level Privacy in Private Evolution

シェア:XThreadsFacebookLINEはてブBluesky

Private Evolutionの連合学習において、共有候補バンクを操作する攻撃を実証的に監査し、形式的な最悪ケースの差分プライバシー保証と実際に達成可能な漏洩のギャップを定量化した。

詳しい要約

1. どんなもの?

本研究は、federated settingsで高忠実度のsynthetic dataを生成するPrivate Evolution (PE) のuser-level privacyを、protocol-awareなempirical auditによって評価するものである。serverが単一の共有candidate bankにコミットし、その約1%を既知のnon-private canaryから派生したprobeに置き換える。8種類のattack(unchanged-bank baseline、exact copies、plausible paraphrases、high-entropy synthetic nonces)を評価し、YelpとSentiment140で実験する。

2. 先行研究と比べてどこがすごい?

PEはclipped user votesを共有candidate bank上で集約し、worst-case user contributionに合わせてnoiseをcalibrateしたdifferentially private histogramを作る。しかし、adversaryがPE protocolに従いつつworst-case privacy lossを実現できるかは不明であった。本研究はprotocol-aware empirical auditを導入し、formal worst-case privacyとprotocol-validなcandidate-bank manipulationで達成可能なleakageのgapを定量化する点が新しい。

3. 技術・手法の肝は?

serverが単一の共有candidate bankにコミットし、その約1%のentryを既知のnon-private canaryから派生したprobeに置き換える。8種類のattack(unchanged-bank baseline、exact copies、plausible paraphrases、high-entropy synthetic nonces)を評価する。PEの仕組みは、clipped user votesを共有candidate bank上で集約し、worst-case user contributionにcalibrateしたnoiseを加えてdifferentially private histogramを作る。

4. どうやって有効だと検証した?

YelpとSentiment140での実験により、natural-text attackはtheoretical DP boundを大幅に下回る一方、nonce-based attackはより強いboundを与え、mechanismのprivacy ceilingに最も近づくことを示した。

5. 議論はある?

natural-text attackはtheoretical DP boundを大幅に下回り、nonce-based attackはより強いboundを与えprivacy ceilingに最も近づく。これによりformal worst-case privacyとprotocol-validなcandidate-bank manipulationで達成可能なleakageのgapが定量化される。

6. 次に読むべき論文は?

要旨からは不明(PEの原論文やdifferentially private synthetic data、empirical privacy auditの関連研究が候補)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sai Aparna Aketi, Enayat Ullah, Shripad Gade

分類: cs.CR, cs.AI, cs.LG

原文アブストラクト

Private Evolution (PE) generates high-fidelity synthetic data in federated settings without exposing users' raw data. It aggregates clipped user votes over a shared candidate bank into a differentially private histogram, with noise calibrated to the worst-case user contribution. However, it is unclear whether an adversary can realize this worst-case privacy loss while following the PE protocol. We introduce a protocol-aware empirical audit in which the server commits to a single shared candidate bank and replaces roughly 1% of its entries with probes derived from a known, non-private canary. We evaluate eight attacks, including an unchanged-bank baseline, exact copies, plausible paraphrases, and high-entropy synthetic nonces. Experiments on Yelp and Sentiment140 show that natural-text attacks remain substantially below the theoretical DP bound, while nonce-based attacks yield considerably stronger bounds and come closest to the mechanism's privacy ceiling. These results quantify the gap between formal worst-case privacy and leakage achievable through protocol-valid candidate-bank manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI