MOTIF: 3DMM係数を超えた特定人物向けディープフェイク検出

- 特定個人(Person-of-Interest, POI)を標的とした video deepfake を検出する手法 MOTIF を提案。 - 検出器はその個人の genuine footage のみで構築され、manipulated video や POI-specific data を必要としない。 - visual-only の検出器であり、3D Morphable Model (3DMM) の係数だけでなく、同じ fit が返す dense surface も活用する。

- 従来の POI 検出器は 3DMM の係数ベクトル全体をそのまま使うため、どの部分が信号を担うか未計測だった。 - 本研究は encoder・training corpus・enrollment protocol を固定し、encoder が観測するものだけを変えて係数群を分解。 - shape block 単独で full vector のほぼ全ての精度を回復でき、係数群は largely redundant であることを示す。 - さらに、従来破棄されていた dense surface が係数にない identity 情報を持ち、係数が最も弱い場面で有効に働くことを示す。 - 結果として、全ての dataset と manipulation、2つの quality level で state-of-the-art の POI 検出器を上回る。

- 3DMM の係数を shape などのブロックに分け、temporal evolution の寄与も含めて encoder の入力のみを変えて評価。 - 同じ 3DMM fit から得られる dense surface を追加の手がかりとして利用。 - 最良の構成を統合し、real videos のみで学習する visual-only 検出器 MOTIF を構築。 - manipulated video や POI-specific data を学習に使わない。

- encoder・training corpus・enrollment protocol を固定し、encoder が観測する入力のみを変える統制実験で係数ブロックの寄与を測定。 - shape block 単独が full vector のほぼ全ての精度を回復すること、temporal evolution の寄与が real but bounded であることを確認。 - dense surface が係数にない identity 情報を持ち、係数が最も弱い場面で助けることを示す。 - 複数の dataset と manipulation、2つの quality level からなる benchmark で state-of-the-art の POI 検出器と比較。

- 3DMM 係数群は largely redundant であり、shape block だけでほぼ十分という知見。 - temporal evolution の寄与は real but bounded と評価。 - dense surface は従来の検出器が破棄していたが、係数にない identity 情報を補完する。 - 限界や失敗事例、計算コスト、他手法との詳細な比較などは要旨からは不明。

- 要旨で参照/比較されている state-of-the-art の POI 検出器(具体的名称は要旨からは不明)。 - 3D Morphable Model (3DMM) を用いた deepfake 検出の関連研究。 - Person-of-Interest (POI) deepfake detection のベンチマーク研究。 - 同分野の定番として、visual-only deepfake detection や identity-based detection の一般的な手法。