日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

偽造検出arXiv:2607.04498

UniSkip-Mamba: 周波数認識型状態空間モデルによる音声・視覚の時間的偽造位置特定

UniSkip-Mamba: A Frequency-Aware State Space Model for Audio-Visual Temporal Forgery Localization

シェア:XThreadsFacebookLINEはてブBluesky

音声・視覚の時間的偽造位置特定(AV-TFL)において、偽造の識別に有効な低・中周波数帯域に注目し、高周波ノイズを除去する周波数認識型の状態空間モデルUniSkip-Mambaを提案した。

詳しい要約

1. どんなもの?

本論文は、音声と映像の改ざん箇所を時間的に特定するAudio-Visual Temporal Forgery Localization (AV-TFL)タスクに取り組む。既存手法が全周波数成分を一様に扱う問題を指摘し、周波数解析に基づき、改ざん識別に有効なパターンが低・中周波数帯域(正規化周波数0-0.15)に集中し、高周波成分はノイズとして検出性能を低下させることを発見した。この知見に基づき、周波数認識型State Space ModelフレームワークであるUniSkip-Mambaを提案する。UniSkip-Mambaは、Unified Multimodal Sequence Fusionによるクロスモーダル位相関係の保持と、Skip-Scanning Mamba BlocksによるGroup-Scan-Merge機構を実装し、低・中周波数パターンへの学習バイアスを自然に導入しつつ、表現の完全性を維持する。

2. 先行研究と比べてどこがすごい?

既存のTFL手法はTransformerベースの時間モデリングとチャネル単位のマルチモーダル融合が主流であり、時間依存性とクロスモーダル相関を捉えるが、全周波数成分を無差別に処理するため、高周波ノイズへの過適合や実データ劣化に対するロバスト性が限定的である。本手法は、周波数領域解析に基づき、高周波成分を除去することで検出性能が+1.4%向上することを示し、周波数認識型の設計を導入した点が新しい。また、State Space ModelをAV-TFLに適用し、SOTA性能を達成するとともに、6倍の推論高速化を実現している点が優れている。

3. 技術・手法の肝は?

手法の核心は、周波数認識型のState Space ModelフレームワークであるUniSkip-Mambaにある。具体的には、Unified Multimodal Sequence Fusionにより、音声と映像のシーケンスを統合し、クロスモーダルな位相関係を保持する。さらに、Skip-Scanning Mamba Blocksを導入し、Group-Scan-Merge機構により周波数認識型の正則化を実装する。これにより、学習が識別に有効な低・中周波数パターン(0-0.15)に自然にバイアスされ、高周波ノイズへの過適合を防ぎつつ、表現の完全性を維持する。周波数領域解析により、スキップスキャンが精度とロバスト性を本質的に向上させる理論的正当性を信号処理の観点から提供している。

4. どうやって有効だと検証した?

提案手法の有効性は、LAV-DFデータセットとAV-Deepfake1Mデータセットを用いて検証された。LAV-DFではAP@0.95が63.4%を達成し、既存手法より+9.8%改善した。AV-Deepfake1MではmAPが63.58%を達成し、+14.32%改善した。さらに、推論速度が6倍高速であることも示された。また、周波数領域解析により、高周波成分の除去が検出性能を+1.4%向上させるという発見も検証に含まれる。

5. 議論はある?

議論としては、提案手法が低・中周波数帯域に焦点を当てることで、高周波数に存在する可能性のある改ざんパターンを見逃すリスクが考えられるが、要旨ではこの点について明示的な議論はない。また、周波数認識型の正則化がデータセット依存である可能性や、実世界の多様な劣化に対するロバスト性の検証が十分かどうかは要旨からは不明である。さらに、State Space Modelの理論的な利点と限界についての詳細な議論は要旨には含まれていない。

6. 次に読むべき論文は?

次に読むべき論文としては、要旨で比較対象として言及されているTransformer-based temporal modeling手法やchannel-wise multimodal fusion手法が挙げられる。具体的には、AV-TFL分野の既存研究であるが、要旨に明記されていないため、一般的なTransformerベースの時間モデリング手法(例:Video Transformer)やマルチモーダル融合手法(例:Cross-Attention)を参照することが推奨される。また、State Space Modelの基礎であるMambaに関する論文も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cangjin Yu, Quan Zhang, Dan Jiang, Ke Zhang

分類: cs.CV, cs.SD

原文アブストラクト

With the proliferation of AI-generated content, sophisticated multimedia manipulation has raised critical concerns about malicious applications such as opinion manipulation and evidence fabrication, making Audio-Visual Temporal Forgery Localization (AV-TFL) an urgent research frontier. Existing TFL methods have progressed along two main paradigms: Transformer-based temporal modeling and channel-wise multimodal fusion. While these approaches capture temporal dependencies and cross-modal correlations, they process all frequency components indiscriminately, leading to overfitting on high-frequency noise and limited robustness under real-world data degradation. Through systematic frequency domain analysis, we find that forgery-discriminative patterns concentrate in the low/mid-frequency range (normalized frequency 0-0.15), while high-frequency components primarily introduce noise, removing them even improves detection performance by +1.4%. Based on this phenomenon, we propose UniSkip-Mamba, a frequency-aware State Space Model framework that incorporates Unified Multimodal Sequence Fusion to preserve cross-modal phase relationships, and Skip-Scanning Mamba Blocks that implement frequency-aware regularization through a novel Group-Scan-Merge mechanism, naturally biasing learning toward discriminative low/mid-frequency patterns (0-0.15) while maintaining representational completeness. We achieve state-of-the-art (SOTA) performance: 63.4% AP@0.95 on LAV-DF (+9.8% improvement) and 63.58% mAP on AV-Deepfake1M (+14.32% improvement), with 6x faster inference. Our frequency-domain analysis provides theoretical justification from a signal processing perspective for why skip-scanning inherently improves both accuracy and robustness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI