セグメンテーション誘導型空間インデキシングによる汎用的かつ説明可能なディープフェイク検出
Segmentation-Guided Spatial Indexing for Generalizable and Explainable Deepfake Detection
顔のパッチトークンを意味ラベルで選別してから分類する空間インデキシング手法を導入し、口領域のみを用いた線形プローブでディープフェイクを高精度に検出する。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Izaldein Al-Zyoud, Abdulmotaleb El Saddik
分類: cs.CV, eess.IV
原文アブストラクト
We introduce segmentation-guided spatial indexing for generalizable and explainable deepfake detection. The key idea reverses the standard design order: rather than pooling all facial tokens and classifying afterward, we first select semantically meaningful patch tokens, then pool only those. A frozen FaRL parser assigns each DINOv3 ViT-L/16 patch token a semantic label; non-target tokens are discarded; a linear probe classifies the retained region. This spatial indexing exploits DINOv3's patch-level spatial consistency, the same property that enables emergent segmentation, to present the probe with a purer regional subspace where manipulation-relevant evidence is less diluted by whole-face cues. Region attribution is structural: when the mouth model predicts fake, the decision used only mouth tokens, not an overlaid saliency map. On Celeb-DF v2, the mouth-indexed probe achieves AUC 0.905, outperforming LipForensics (+8.1 pp) and Xception (+16.9 pp), with no DINOv3 or FaRL fine-tuning and no target-domain data. Ablations isolate the mechanism: replacing regional selection with DINOv3's CLS token drops Celeb-DF v2 AUC by 26.4 pp; replacing DINOv3 with FaRL features drops it by 20.9 pp. Both DINOv3 representation and the spatial index are independently necessary; neither alone approaches the full system.
関連論文
- 脈拍か由来か?rPPGベースのディープフェイク検出器が学ぶものディープフェイク検出
- MoSTE:動画ディープフェイク検出のための時空間エキスパート混合ディープフェイク検出
- Spectra: マルチスケール暗黙分解によるディープフェイク検出ディープフェイク検出
- RoboFake:ディープフェイク検出器はヒューマノイド顔ロボットに対応できるか?ディープフェイク検出
- MSUチームによる説明可能なディープフェイク検出チャレンジ2026への挑戦:根拠あるアーティファクト証拠に基づく検出ディープフェイク検出
- MOTIF: 3DMM係数を超えた特定人物向けディープフェイク検出ディープフェイク検出
