日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

Deepfake検出arXiv:2611.10249

フレーム精度を超えて:TransformerベースDeepfake鑑定における動画レベル安定性の分析

Beyond Frame-Level Accuracy: Analyzing Video-Level Stability in Transformer-Based Deepfake Forensics

シェア:XThreadsFacebookLINEはてブBluesky

CNNとViTを同一条件で比較し、CNNはフレーム単位では競争力があるが動画レベル集約で性能が低下する一方、ViT-B/16は動画レベルで安定した精度を示すことを明らかにした。

詳しい要約

1. どんなもの?

- 深層学習によるDeepfake検出において、CNN系(ResNet-18, EfficientNet-B0)とTransformer系(ViT-B/16)を同一の顔中心パイプラインで比較する再現可能な比較研究 - フレーム単位の精度だけでなく、video-level aggregation後の安定性に着目 - Celeb-DF v2とFaceForensics++を用い、3つのrandom seedとbootstrapped confidence intervalsで検証 - 結論としてViT-B/16がvideo-levelで安定し、Celeb-DF v2でvideo-level accuracy 92.8%、AUC 0.950を達成

2. 先行研究と比べてどこがすごい?

- 既存研究はheterogeneous preprocessing pipelines、inconsistent data splits、model-specific training protocolsにより公平なarchitectural comparisonが困難だった - 本研究はpreprocessing、augmentation、optimization settings、data splitsを統一し、controlledかつreproducibleな比較を実現 - frame-level accuracy中心の評価ではなく、video-level aggregation後の性能劣化に注目した点が新しい - 3 independent random seedsとbootstrapped confidence intervalsで結果の信頼性を提示

3. 技術・手法の肝は?

- face-centric deepfake detection frameworkの下で全モデルを同一条件で学習 - 比較対象はResNet-18、EfficientNet-B0、ViT-B/16 - 同一のpreprocessing、augmentation、optimization settings、data splitsを使用 - frame-levelの出力をvideo-level aggregationして評価 - 3 random seedsで再学習し、bootstrapped confidence intervalsを算出 - cross-dataset evaluationとしてFF++→Celeb-DFとCeleb-DF→FF++を実施

4. どうやって有効だと検証した?

- Celeb-DF v2とFaceForensics++上で同一プロトコルにより学習・評価 - 3 independent random seedsで再現性を確認し、bootstrapped confidence intervalsを報告 - frame-levelではCNN系も競争力があるが、video-level aggregation後に性能が低下することを確認 - ViT-B/16はCeleb-DF v2でvideo-level accuracy 92.8% [95% CI: 91.7–94.0]、AUC 0.950 [95% CI: 0.934–0.964]を達成 - cross-dataset評価でAUC 0.79 (FF++→Celeb-DF)対0.64 (Celeb-DF→FF++)というasymmetric generalization gapを確認

5. 議論はある?

- global self-attentionが同一データドメイン内でのrobustnessとvideo-level stabilityを改善することを示唆 - 一方でin-domain video-level stabilityはunseen manipulation domainsへ転移しないことを明示 - cross-domain generalization gapが大きく非対称であり、今後のcross-domain generalization研究の必要性を強調 - 要旨からは不明: 計算コスト、モデルサイズ、推論速度、実運用上の制約に関する議論

6. 次に読むべき論文は?

- ViT-B/16( Vision Transformer ) - ResNet-18 - EfficientNet-B0 - Celeb-DF v2 - FaceForensics++ - cross-domain generalizationに関するDeepfake検出研究(要旨では特定論文の参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Syed Azmul Hasan, Mowmita Pervin Hera, Afroza Lona Mim, M M Jihad Hossain, Hazrat Ali, Mohammad Farhad Bulbul

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Deepfake videos generated by advanced generative models pose serious threats to digital security, misinformation control, and media forensics. Although numerous detection methods have been proposed, their reported performances are often based on heterogeneous preprocessing pipelines, inconsistent data splits, and model-specific training protocols, hindering fair architectural comparison. This work presents a controlled and reproducible comparative study of convolutional neural networks (ResNet-18 and EfficientNet-B0) and a transformer-based architecture (ViT-B/16) within a unified, face-centric deepfake detection framework. All models are trained using identical preprocessing, augmentation, optimization settings, and data splits on Celeb-DF v2 and FaceForensics++, and results are validated across three independent random seeds with bootstrapped confidence intervals. Experimental results show that while CNN-based models perform competitively at the frame level, their performance degrades after video-level aggregation. In contrast, ViT-B/16 demonstrates more stable video-level performance, achieving 92.8\% [95\% CI: 91.7--94.0] video-level accuracy and an AUC of 0.950 [95\% CI: 0.934--0.964] on Celeb-DF v2 (3-seed bootstrapped). Cross-dataset evaluation across the same three random seeds reveals a large, asymmetric generalization gap (AUC 0.79 FF++$\rightarrow$Celeb-DF vs. 0.64 Celeb-DF$\rightarrow$FF++), indicating that in-domain video-level stability does not transfer to unseen manipulation domains. These findings indicate that global self-attention improves robustness and video-level stability for deepfake detection within a given data domain, while highlighting the need for further work on cross-domain generalization.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI