日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

継続学習/セキュリティarXiv:2609.06346

バックドア攻撃下での継続学習における浄化と選択的復元によるロバストな動的拡張

Robust Dynamic Expansion for Continual Learning under Backdoor Attacks via Purification and Selective Recovery

シェア:XThreadsFacebookLINEはてブBluesky

各タスクに混入したバックドア攻撃サンプルに対処するため、浄化・選択的復元・ロバストな専門家選択を統合した動的拡張フレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、逐次的に到着するタスクに含まれるバックドア攻撃サンプルに対処する、継続学習(Continual Learning, CL)の新しい設定「Continual Learning Under Backdoor Attack (CLUBA)」を提案している。CLUBAでは、各タスクに少量の悪意ある改変サンプルが含まれる中で、破滅的忘却の緩和、適応能力の維持、悪意ある教師信号の吸収防止を同時に達成する必要がある。提案手法は、サンプル浄化、選択的リカバリ、ロバストなエキスパートルーティングを統合した動的拡張フレームワークであり、具体的にはBi-Prototype Purification (BPP)、Gradient Discrepancy-based Robustness Optimization (GDBRO)、Robust Feature Consistency-based Expert Selection (RFCBES)の3つのモジュールから構成される。

2. 先行研究と比べてどこがすごい?

従来の継続学習研究は、クリーンなデータストリームを前提としており、バックドア攻撃への耐性を考慮していない。一方、バックドア防御研究は、静的な学習シナリオに焦点を当てており、継続学習特有の逐次更新や忘却の問題を扱わない。本論文は、これらを統合したCLUBA設定を初めて提案し、継続学習の安定性・可塑性・セキュリティを同時に扱う点が新しい。また、既存の防御手法は攻撃サンプルの除去に重点を置くが、提案手法は浄化と選択的リカバリを組み合わせることで、モデルの可塑性を維持しつつロバスト性を向上させる点が優れている。

3. 技術・手法の肝は?

手法の核は3つのモジュールからなる。まず、Bi-Prototype Purification (BPP)は、特徴空間における意味的差異を利用して、疑わしいサンプルを特定する。次に、Gradient Discrepancy-based Robustness Optimization (GDBRO)は、浄化されたデータに基づき、疑似ラベル補正と勾配整合性評価を通じて、情報量の多い毒サンプルを選択的にリカバリし、モデルの可塑性を維持しながらロバスト性を向上させる。最後に、Robust Feature Consistency-based Expert Selection (RFCBES)は、摂動を考慮したクラスプロトタイプを構築し、破損またはシフトした入力下でも信頼性の高いエキスパートルーティングを実現する。これらを動的拡張フレームワークに統合することで、継続学習中のバックドア攻撃に対処する。

4. どうやって有効だと検証した?

要旨からは、具体的な実験設定や評価指標、比較ベースライン、データセット名などは明記されていない。したがって、有効性の検証方法は要旨からは不明である。ただし、提案フレームワークがCLUBA設定で有効であることを示すために、おそらく複数の継続学習ベンチマークとバックドア攻撃シナリオを用いた実験を行っていると推測されるが、詳細は不明。

5. 議論はある?

要旨では、CLUBA設定の難しさとして、破滅的忘却の緩和、適応能力の維持、悪意ある教師信号の吸収防止の同時達成を挙げている。また、提案手法が浄化と選択的リカバリを組み合わせることで、単純な除去よりも可塑性を保てる可能性を示唆している。しかし、要旨からは、提案手法の限界や、攻撃率やタスク数などのパラメータに対する感度、計算コスト、他の攻撃タイプへの一般性などについての議論は不明である。

6. 次に読むべき論文は?

要旨で参照されている先行研究は明示されていないが、関連する分野として、継続学習(Catastrophic Forgetting, Dynamic Expansion)、バックドア攻撃防御(Backdoor Defense, Poisoning Attack)、およびそれらの組み合わせに関する研究が挙げられる。具体的には、継続学習の代表的な手法であるEWC、Progressive Neural Networks、またはバックドア防御の代表的な手法であるNeural Cleanse、Spectral Signaturesなどが関連する。次に読むべき論文としては、これらの分野のサーベイや、CLUBAに近い設定を扱った研究を探すとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Keyu Lin, Fei Ye, Qihe Liu, Shijie Zhou, Jiguo Yu

分類: cs.LG, cs.CR

原文アブストラクト

Continual learning (CL) enables models to acquire new knowledge from sequentially arriving tasks while retaining previously learned knowledge. However, in practical scenarios, task streams collected from untrusted sources may contain backdoor-poisoned samples, posing a critical challenge to the stability, plasticity, and security of continual learners. In this work, we investigate a challenging setting termed Continual Learning Under Backdoor Attack (CLUBA), where each incremental task may involve a small proportion of maliciously manipulated training samples. Unlike conventional continual learning or backdoor defense scenarios, CLUBA requires models to simultaneously mitigate catastrophic forgetting, preserve adaptation capability, and prevent the absorption of malicious supervision during sequential updates. To address this challenge, we propose a robust dynamic-expansion framework that integrates sample purification, selective recovery, and robust expert routing into a unified continual learning paradigm. Specifically, we introduce Bi-Prototype Purification (BPP) to identify suspicious samples by exploiting semantic discrepancies in feature space. Based on purified data, Gradient Discrepancy-based Robustness Optimization (GDBRO) selectively recovers informative poisoned samples through pseudo-label correction and gradient consistency evaluation, improving robustness while maintaining model plasticity. Furthermore, Robust Feature Consistency-based Expert Selection (RFCBES) constructs perturbation-aware class prototypes to enable reliable expert routing under corrupted or shifted inputs.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI