AV-FABLE：長尺動画における音声視覚マニピュレーションのフォレンジック

- 長尺の open-scene 音声映像動画における疎な局所改ざんを対象とした二重タイムラインのベンチマーク AV-FABLE を提案する研究。 - 16,650 組の pristine–manipulated twin pairs(998 時間)を 27 の editing configurations で作成。 - 音声と映像で別々のタイムラインを持ち、modality ごとの時間的局所化と、joint-timeline 評価では隠れる誤りを顕在化させる。 - 併せて、凍結した AV-LLM 特徴を分離 readout する NFSR を提案。

- 既存の audio-visual deepfake ベンチマークは短い talking-head クリップ中心で、長尺の temporal forensics は主に視覚に限られていた。 - AV-FABLE は長尺・open-scene・音声映像の疎な改ざんを対象とし、音声/映像を分離したタイムラインで評価可能にした点が新しい。 - joint-timeline 評価では隠れる modality 固有の誤りを露出できる点を利点として挙げている。

- AV-FABLE は 27 の editing configurations で pristine と manipulated の twin pairs を生成し、音声・映像それぞれの時間的境界を別タイムラインで付与。 - NFSR(Native Forensics via Separated Readouts)は、凍結した AV-LLM の知覚特徴を音声用・映像用の別々の temporal decoder で読み出す。 - 改ざんの証拠は AV-LLM 表現に符号化されているが language 出力では露出しにくい、という観察に基づく設計。

- AV-FABLE 上で AV-LLM の zero-shot prompting を評価し、検出はほぼ chance 水準、時間的局所化も乏しいことを示した。 - 同じ凍結特徴の supervised readout では強い forensic 信号が回収できることを確認。 - NFSR は in-domain および 3 つの out-of-distribution 設定すべてで最良の audio-visual localization 性能を達成。 - 外部の long-video forensic benchmark の held-out 動画への転移も検証。

- AV-LLM は zero-shot では検出・局所化が困難だが、内部特徴には証拠が含まれる可能性を示唆。 - language 出力を介さず分離 readout することで forensic 信号を引き出せるという主張。 - 長尺・疎な改ざんに対する評価設計として modality 分離タイムラインの必要性を議論。 - 具体的な限界や失敗事例の詳細は要旨からは不明。

- 要旨で直接参照/比較されている個別研究名は記載なし。 - 関連手法として audio-visual deepfake detection、temporal forgery localization、AV-LLM(audio-visual large language models)、frozen feature readout を用いた probing 関連の研究を次に読む候補として挙げる。 - 外部 long-video forensic benchmark の原論文も参照候補(名称は要旨からは不明)。