日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深層偽造検出arXiv:2609.12668

曖昧な視覚手がかりを超えて:ディープフェイク動画における生理的乱れとクロスモーダル不整合の研究

Beyond Ambiguous Visual Cues: Studying Physiological Disruptions and Cross-Modal Inconsistencies in Deepfake Videos

シェア:XThreadsFacebookLINEはてブBluesky

rPPGと顔行動を双方向コアテンションで統合するディープフェイク検出器を提案し、被験者分割5分割評価で高いAUCを達成した。

詳しい要約

1. どんなもの?

- 深層偽造ビデオ検出のための新しい手法を提案する研究。 - rPPG信号と顔の行動を同時にモデル化する双方向co-attention融合検出器を開発。 - 既存の実rPPGデータセット(COHFACEとUBFC-rPPG)上で高忠実度の深層偽造操作を構築し、生理信号と顔行動の乱れを調査。 - 被験者不連続5分割評価で、顔交換とモーション転送の両方で高いAUCを達成。

2. 先行研究と比べてどこがすごい?

- 既存のベンチマークは生理学的グラウンドトゥルースを欠き、検出器は顔特徴と生理動態のクロスレベル関係を十分に探求していない。 - 従来はlate fusionやrPPG特徴のみに依存することが多かった。 - 提案手法はrPPGと顔行動のトークンを共同でモデル化し、クロスレベル依存性を明示的に捉えることで、rPPG単一モダリティベースラインや最良の特徴レベル融合法を上回る性能を実証。

3. 技術・手法の肝は?

- 双方向co-attention融合検出器を提案。 - rPPG信号と顔行動のトークンを共同でモデル化。 - パルス動態と顔の動きの間のクロスレベル依存性を明示的に捕捉し、堅牢な共同真正性表現を学習。 - 高忠実度の深層偽造操作を実rPPGデータセット上で構築し、生理信号と顔行動の同時乱れを分析。

4. どうやって有効だと検証した?

- 被験者不連続5分割評価を実施。 - 構築データセットで顔交換により92.80% AUC、モーション転送で96.78% AUCを達成。 - rPPG単一モダリティベースラインおよび最良の特徴レベル融合法を上回る。 - 特徴抽出器を固定したままCeleb-DF-v2で転移学習を行い、91.20%精度と86.08% AUCを達成し、ターゲットドメイン適応下での適用可能性を示唆。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:rPPGベースの検出、late fusion、特徴レベル融合法。 - 関連手法:COHFACE、UBFC-rPPG、Celeb-DF-v2。 - 同分野の定番:FaceForensics++、DFDCなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenxi Yang, Yassine Ouzar, Larbi Boubchir

分類: cs.CV

原文アブストラクト

Recent deepfake detection studies increasingly suggest remote photoplethysmography (rPPG) signals as an authenticity cue. However, existing benchmarks lack physiological ground truth, and current detectors underexplore the cross-level relationship between facial features and physiological dynamics, often relying on late fusion or rPPG features alone. In this paper, we construct high-fidelity deepfake manipulations on established real rPPG datasets (COHFACE and UBFC-rPPG) to investigate how forgeries disrupt natural physiological signals and facial behavior at the same time. Building on this analysis, we propose a bidirectional co-attention fusion detector that jointly models rPPG and facial behavior tokens. This mechanism explicitly captures the cross-level dependencies between pulse dynamics and facial motion to learn a robust, joint authenticity representation. Extensive experiments using a subject-disjoint 5-fold evaluation demonstrate the superiority of our approach. Achieving a 92.80\% AUC on constructed datasets using face swapping and 96.78\% AUC on motion transfer, our model outperforms both the rPPG-only single modality baseline and the best feature-level fusion methods. Furthermore, transfer-learning result of the fusion detector on Celeb-DF-v2 while keeping both feature extractors fixed achieves 91.20\% accuracy and 86.08\% AUC, which suggests applicability under target-domain adaptation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI