日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

機械忘却/VLMarXiv:2607.16442

一つのモダリティを忘れる:視覚言語モデルにおけるクロスモーダル忘却の強化

One Modality to Forget Them All: Enhancing Cross-Modal Unlearning in Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)において、テキストと画像のどちらか一方のモダリティで機械忘却を行った際、その効果が他方にどの程度転移するかを体系的に調査し、非対称で不完全な転移を発見。さらに、転移ギャップを埋める影響ベースの手法CrossInfを提案し、攻撃耐性も向上させた。

詳しい要約

1. どんなもの?

本論文は、Vision-Language Models (VLMs)における機械学習のアンラーニング(unlearning)が、テキストと画像のモダリティ間でどのように転移するかを体系的に調査した初の研究である。LLaVA-1.5、InstructBLIP、IDEFICSの3つのVLMアーキテクチャを用いて、双方向のクロスモーダル転移を分析し、転移が非対称かつ不完全であること、またタイポグラフィ攻撃に対して脆弱であることを示す。さらに、転移ギャップと浅いロバスト性を改善するための影響ベースの緩和戦略であるCrossInfを提案する。

2. 先行研究と比べてどこがすごい?

従来の機械アンラーニング研究は主に大規模言語モデル(LLM)に焦点を当てており、VLMにおけるモダリティ間の転移は未解明だった。本論文は、VLMのアンラーニング転移を体系的に調査した初の研究であり、転移が非対称であること、タイポグラフィ攻撃で知識が回復可能であることを明らかにした点が新しい。また、モデルコンポーネントの影響を考慮したCrossInfを提案し、転移ギャップを半減以上に削減する点が先行研究と比べて優れている。

3. 技術・手法の肝は?

手法の核は、クロスモーダル転移に寄与するトランスフォーマーブロックを特定し、そのブロックに重点的にアンラーニングを適用するCrossInf戦略である。具体的には、influence-guided approachを用いて、各ブロックがクロスモーダル汎化に与える影響を推定し、影響の大きいブロックにアンラーニングを集中させる。また、タイポグラフィ攻撃に対するロバスト性を評価し、浅いアンラーニングをCentered Kernel Alignment (CKA)を用いて分析する。

4. どうやって有効だと検証した?

3つのVLMアーキテクチャ(LLaVA-1.5、InstructBLIP、IDEFICS)を用いて、テキストから視覚、視覚からテキストの双方向のアンラーニング転移を評価した。タイポグラフィ攻撃を適用し、攻撃成功率を測定した。CrossInfを適用した場合、転移ギャップが半分以上削減され、モデルの有用性が維持されることを確認した。また、タイポグラフィ攻撃の成功率をほぼゼロに低減した。さらに、3人のアノテータによる人間評価(κ=0.77)を実施し、結果を検証した。

5. 議論はある?

議論として、アンラーニングの転移が非対称かつ不完全であること、タイポグラフィ攻撃によって知識が回復可能であることから、現在のアンラーニング手法が浅いものであると指摘している。CrossInfは転移ギャップを減らすが、完全には解消しない。また、CKA分析により、転移挙動とロバスト性の限界に関する洞察が得られたが、アンラーニングの深さや汎化に関する理論的な理解はまだ不十分である。要旨からは、他の攻撃やデータセットへの一般化については不明。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連手法として、機械アンラーニングの既存研究(LLMにおけるunlearning)、Vision-Language Modelsのアーキテクチャ(LLaVA、InstructBLIP、IDEFICS)、およびタイポグラフィ攻撃に関する研究が挙げられる。次に読むべき論文としては、これらの基盤となった論文や、クロスモーダル転移の理論的分析、より堅牢なアンラーニング手法に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sudharshan Balaji, Yili Ren, Guangjing Wang, Yimin Chen, Ning Wang

分類: cs.CV, cs.CL, cs.CR

原文アブストラクト

Machine unlearning is widely used to remove hazardous knowledge from large language models. Modern Vision-Language Models (VLMs), however, process both text and visual inputs, raising a fundamental security question: does unlearning in one modality transfer to the other? We present the first systematic, bidirectional study of cross-modal unlearning transfer across three VLM architectures: LLaVA-1.5 (MLP projection), InstructBLIP (Q-Former), and IDEFICS (gated cross-attention). We find that unlearning transfers across modalities, but the transfer is asymmetric and incomplete. In some cases, text unlearning strongly transfers to vision. However, this robustness is not preserved under typographic attacks that manipulate the visual presentation of text. Under such attacks, previously unlearned knowledge can be readily recovered, indicating shallow unlearning. To address the transfer gap and shallow robustness, we propose \textsc{CrossInf}, an influence-guided mitigation strategy. Motivated by the observation that different model components contribute unequally to cross-modal transfer, \textsc{CrossInf} focuses unlearning on transformer blocks that most influence cross-modal generalization. It reduces the transfer gap by more than half in architectures with strong fusion, while preserving model utility. It also improves robustness under typographic attacks, reducing the attack success rate to near zero. We further conduct human evaluation with three annotators ($κ{=}0.77$) to validate our findings. Finally, we analyze shallow unlearning using Centered Kernel Alignment (CKA), providing insights into the observed transfer behavior and robustness limitations.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI