日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ディープフェイク検出arXiv:2611.12443

MoSTE:動画ディープフェイク検出のための時空間エキスパート混合

MoSTE: Mixture of Spatio-Temporal Experts for Deepfake Detection in Videos

シェア:XThreadsFacebookLINEはてブBluesky

動画ディープフェイク検出において、空間・時間それぞれのエキスパートを並列に用意しトークン単位で動的に振り分ける適応フレームワークMoSTEを提案し、未知の偽造への汎化性能で新たな最先端を達成した。

詳しい要約

1. どんなもの?

- 動画のdeepfake検出のための適応フレームワークMoSTE(Mixture Of Spatio-Temporal Experts)を提案する論文。 - 単一の共有表現に頼らず、空間・時間それぞれのexpert poolに適応を分解し、token単位で動的にexpertへroutingする。 - CLIPの表現を動画領域へ転移しつつ、操作タイプに依存しない汎化性能の向上を狙う。

2. 先行研究と比べてどこがすごい?

- 既存のparameter-efficient adaptation手法は単一の共有表現に依存し、manipulation-specific biasに陥りやすく未見の偽造への転移が限定的だった。 - MoSTEは空間・時間の並列expert poolに条件付きで特化させることで、この単一表現の限界を緩和する。 - 明示的なmanipulationラベルや多段階学習を必要とせずにexpertの特化が生じる点が異なる。

3. 技術・手法の肝は?

- 適応をparallel spatial expert poolとtemporal expert poolに分解する。 - unsupervisedなtoken-level routing mechanismにより、各tokenを最も関連するexpertへ動的に振り分ける。 - これによりexpertが補完的なforensic cueに自然に特化し、CLIPからvideo domainへの表現転移を実現する。 - 明示的なmanipulation labelやmulti-stage trainingを要しない設計。

4. どうやって有効だと検証した?

- cross-datasetおよびcross-manipulationのbenchmarkで広範な実験を実施。 - 平均汎化性能で新たなstate of the artを達成し、多様なmanipulation familyでも強い性能を維持した。 - expert routingとattention behaviorの追加分析によりexpert diversityの出現を示し、補完的なspatio-temporal forensic featureの学習を示唆。

5. 議論はある?

- expert routingとattentionの分析からexpert diversityの emergenceが示され、補完的特徴の学習が示唆される。 - 具体的な限界や失敗ケース、計算コストに関する議論は要旨からは不明。 - manipulation family間の性能差の詳細やroutingの解釈性についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及されるparameter-efficient adaptation手法(adapter系)やCLIPベースのdeepfake検出研究。 - 関連手法としてMixture of Experts(MoE)およびtoken-level routingの研究。 - 動画deepfake検出のcross-dataset/cross-manipulation評価を行う既存benchmark論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Charbel Yahchouchi, Nabyl Quignon, Noemi Roggero, Laurent Saroul, Antitza Dantcheva

分類: cs.CV

原文アブストラクト

Generalizable deepfake video detection remains challenging because forgery artifacts vary substantially across manipulation types and often combine diverse spatial and temporal inconsistencies. Existing parameter-efficient adaptation methods typically rely on a single shared representation, rendering them prone to manipulation-specific bias and limiting transfer to unseen forgeries. To address this challenge, we propose Mixture Of Spatio-Temporal Experts (MoSTE), an adaptation framework that enables conditional specialization of forensic representations. Instead of forcing one adapter to model all forgery patterns, MoSTE decomposes adaptation into parallel spatial and temporal expert pools and dynamically routes tokens to the most relevant experts through an unsupervised token-level routing mechanism. This allows experts to naturally specialize in complementary forgery cues without requiring explicit manipulation labels or multi-stage training, while effectively transferring representations from CLIP to the video domain. Extensive experiments across cross-dataset and cross-manipulation benchmarks demonstrate that MoSTE sets a new state of the art in average generalization while preserving strong performance across diverse manipulation families. Additional analysis of expert routing and attention behavior reveals the emergence of expert diversity, suggesting that MoSTE learns complementary spatio-temporal forensic features. Code is available at https://github.com/charbelyah/MoSTE

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI