日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

連合学習arXiv:2610.27357

LiBRA: 連合学習におけるビザンチン耐性クライアント選択のためのロジット指紋

LiBRA: Logit Fingerprints for Byzantine-Robust Client Selection in Federated Learning

シェア:XThreadsFacebookLINEはてブBluesky

クライアントのパラメータではなくモデルの出力(クラス別ロジット応答)の指紋で比較することで、セキュアアグリゲーションと両立しつつアーキテクチャ非依存なビザンチン耐性クライアント選択を実現した。

詳しい要約

1. どんなもの?

- Federated Learning (FL) における Byzantine-robust な client selection 手法 LiBRA の提案。 - クライアントのパラメータではなく、モデルが「何を計算するか」を比較する。 - C クラスに対し C^2 個の値からなる fingerprint(pseudo-pattern に対する class-conditional logit response)を用いる。 - Krum, Multi-Krum, Bulyan の variant として実装され、dissimilarity score の計算対象のみを変更する。

2. 先行研究と比べてどこがすごい?

- 従来の Byzantine-robust aggregation はクライアントの parameter vector を比較するため、全クライアントの update へのアクセスが必要で secure aggregation と両立しない。 - 計算コストが O(n^2 d)(d はパラメータ次元)。 - 同一アーキテクチャを共有するクライアント間でしか定義できない。 - LiBRA はクライアントパラメータを読まずに信頼判断を行い、比較する値の数を最大 49,090 倍削減。 - 構造上アーキテクチャが異なるクライアント同士も比較可能。

3. 技術・手法の肝は?

- 各クライアントのモデルに対し最適化された pseudo-pattern を用い、class-conditional logit response を取得。 - C クラスにつき C^2 個の値からなる fingerprint を構成。 - この fingerprint 上で dissimilarity score を計算し、Krum/Multi-Krum/Bulyan の選択規則に組み込む。 - コストはクライアントごと・ラウンドごとに 1 回の pattern optimization。

4. どうやって有効だと検証した?

- Fashion-MNIST と CIFAR-10、3 種類のアーキテクチャ、4 種類の backdoor および label-manipulation 攻撃、i.i.d. パーティションで評価。 - 各 variant は親手法が防ぐ攻撃をすべて防ぐ。 - 同一クライアント更新下の backdoor 攻撃で、fingerprint は full parameter vector と比べ 0.006 AUC 以内で malicious client をランク付け。 - 親規則と同等の robustness を維持しつつ、信頼判断でクライアントパラメータを読まず、比較値数を最大 49,090 倍削減。

5. 議論はある?

- アーキテクチャが異なるクライアントを比較できる点が利点として示唆される。 - コストとしてクライアントごと・ラウンドごとに 1 回の pattern optimization が必要。 - 評価は i.i.d. パーティションに限定されており、non-i.i.d. 設定での挙動は要旨からは不明。 - 攻撃種類は backdoor と label-manipulation の 4 種に限られ、他の Byzantine 攻撃への一般性は要旨からは不明。

6. 次に読むべき論文は?

- Krum - Multi-Krum - Bulyan - secure aggregation - Fashion-MNIST - CIFAR-10

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Saheed A. Tijani, Frank Jiang, Ming Liu

分類: cs.LG, cs.AI

原文アブストラクト

Byzantine-robust aggregation shields federated learning from malicious updates, but the rules that filter out suspect updates do so by comparing clients' parameter vectors. That comparison requires access to every client's update, which secure aggregation exists to withhold, costs $O(n^2 d)$ in the parameter dimension $d$, and is defined only between clients that share an architecture. We propose LiBRA, which compares clients on what their models compute rather than on the parameters that compute them, using a fingerprint of $C^2$ values for $C$ classes, the class-conditional logit response of each client's model to pseudo-patterns optimised against it. We instantiate LiBRA as variants of Krum, Multi-Krum and Bulyan that change only what the dissimilarity score is computed on. On Fashion-MNIST and CIFAR-10 with three architectures and four backdoor and label-manipulation attacks under i.i.d. partitions, each variant holds every attack its parent holds, and on identical client updates under a backdoor attack the fingerprint ranks malicious clients within 0.006 AUC of the full parameter vector. The variants thus match the robustness of the rules they extend, while their trust decision reads no client parameter, compares up to 49,090 times fewer values, and can by construction compare clients whose architectures differ, at the cost of one pattern optimisation per client per round.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI