日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画偽造検出arXiv:2605.17133

CAM-VFD: クロスアテンションを用いたマルチモーダル動画偽造検出

CAM-VFD: Cross-Attention Multimodal Video Forgery Detection

シェア:XThreadsFacebookLINEはてブBluesky

外観・動き・幾何の矛盾を捉えるクロスアテンション融合により、単一モーダルでは見逃す高度な動画偽造を高精度で検出するフレームワークを提案した。

詳しい要約

1. どんなもの?

- どんなもの? - Deepfakeや動画編集に対抗するVideo Forgery DetectionフレームワークCAM-VFDを提案。 - 外観・幾何・動きを単一モダリティで扱う従来型ではなく、モダリティ間の矛盾をforensic signalとしてモデル化。 - cross-attention fusion mechanismを採用し、CLIPベースのappearance表現をquery、VideoMAEのmotion特徴とMiDaSのdepth特徴をkey/valueとして統合。 - 視覚・時間・幾何証拠間の矛盾を検出する。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存検出器はappearance, geometry, motionを独立に扱う単一モダリティ信号依存。 - 高度な生成器はモダリティ内一貫性を保つ一方、モダリティ間矛盾を生むが、単一モダリティ検出器では不可視。 - CAM-VFDはcross-modal contradictionを方向性のあるforensic signalとして捉え、この盲点を狙う。 - 圧縮・ノイズ・ぼかし・adversarial perturbations下でも安定性能を示す点が従来と異なる。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - cross-attention fusion mechanism:CLIP-based appearance representationsをqueriesとし、VideoMAE motion featuresとMiDaS depth featuresを統合。 - 視覚・時間・幾何証拠間の矛盾を識別可能にする。 - cross-modal attention discrepancy analysisを実施し、realとfakeの分布が統計的に分離可能(p<0.001, Cohen's d=0.68)であることを観察。 - コードは公開。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 2つのgenerative video benchmarksで実験。 - GenVidBenchでTop-1 accuracy 95.31%。 - GenVideoでaccuracy 93.43%、F1-score 90.63%、AUROC 96.56%。 - compression, noise, blur, adversarial perturbations下でも安定性能を確認。 - cross-modal attention discrepancy analysisでreal/fake分布の統計的分離を確認。

5. 議論はある?

- 議論はある? - cross-modal reasoningがmedia forensicsのrobustnessを改善する可能性を示唆。 - 要旨からは、限界や失敗事例、計算コスト、一般化可能性に関する議論は不明。 - 統計的分離は示されるが、因果関係や解釈性の深掘りは要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - CLIP(appearance表現の基盤) - VideoMAE(motion特徴の基盤) - MiDaS(depth特徴の基盤) - GenVidBenchおよびGenVideoのベンチマーク論文 - cross-attention fusionやmultimodal forgery detectionの関連研究(要旨で具体的参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hoda Osama Elkhodary, Sherin Mostafa Youssef, Marwa Elshenawy, Dalia Sobhy

分類: cs.CV, cs.AI

原文アブストラクト

The rapid advancement of Deepfake technologies and video manipulation tools poses a critical challenge to multimedia forensics, judicial evidence integrity, and information authenticity. Current detectors rely on single-modality signals, treating appearance, geometry, and motion independently. However, advanced generators maintain within-modality consistency while producing cross-modal contradictions, which are forensically discriminative but invisible to any single-modal detector. We propose CAM-VFD, a Cross-Attention Multimodal Video Forgery Detection framework that models cross-modal contradiction as a directional forensic signal. The framework uses a cross-attention fusion mechanism in which CLIP-based appearance representations serve as queries against VideoMAE motion features and MiDaS depth features, enabling the identification of contradictions between visual, temporal, and geometric evidence. We examine this design through cross-modal attention discrepancy analysis, observing statistically separable real and fake distributions ($p<0.001$, Cohen's $d=0.68$). Experimental results on two generative video benchmarks indicate consistent performance, with 95.31\% Top-1 accuracy on GenVidBench and 93.43\% accuracy, 90.63\% F1-score, and 96.56\% AUROC on GenVideo. Moreover, CAM-VFD demonstrates stable performance under compression, noise, blur, and adversarial perturbations, suggesting that cross-modal reasoning may improve robustness in media forensics. The code is publicly available at \url{https://github.com/Hoda-Osama/CAM-VFD/tree/main}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI