LoCC: 反事実フレーム整合性によるリップシンクディープフェイクの検出と位置特定
LoCC: Detection and Localization of Lip-Syncing Deepfakes via Counterfactual Frame Consistency
リップシンクディープフェイクの検出と位置特定を行う新しいフレームワークLoCCを提案。時間的近傍から生成した反事実推定との整合性を評価し、フレームレベルの不一致を捉える。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Soumyya Kanti Datta, Shan Jia, Siwei Lyu
分類: cs.CV
原文アブストラクト
Lip-syncing deepfakes are among the most challenging forms of manipulated media because their artifacts are localized almost exclusively to the mouth region and evolve dynamically over time. Detecting such deepfakes requires precise temporal and spatial modeling of lip motion. In this paper, we propose LoCC, a novel detection framework that performs fine-grained detection and localization of lip-syncing deepfakes at both segment and frame levels. Unlike prior approaches that analyze videos holistically, our method evaluates whether each frame aligns with a counterfactual estimate generated from its temporal neighbors. Real videos exhibit strong and stable consistency, whereas lip-sync deepfakes introduce localized inconsistencies. Following a teacher-student learning paradigm, our model effectively captures these frame-level discrepancies and achieves superior performance over state-of-the-art methods on multiple benchmark lip-syncing deepfake datasets, including LAV-DF, AVDF1M, FakeAVCeleb, and KODF, and generalizes well across compression levels and datasets.
関連論文
- 脈拍か由来か?rPPGベースのディープフェイク検出器が学ぶものディープフェイク検出
- MoSTE:動画ディープフェイク検出のための時空間エキスパート混合ディープフェイク検出
- Spectra: マルチスケール暗黙分解によるディープフェイク検出ディープフェイク検出
- RoboFake:ディープフェイク検出器はヒューマノイド顔ロボットに対応できるか?ディープフェイク検出
- MSUチームによる説明可能なディープフェイク検出チャレンジ2026への挑戦:根拠あるアーティファクト証拠に基づく検出ディープフェイク検出
- MOTIF: 3DMM係数を超えた特定人物向けディープフェイク検出ディープフェイク検出
