日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

時間的偽造検出arXiv:2607.00902

MG-RWKV: 時間的偽造位置特定のための多粒度文脈認識RWKV

MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal Forgery Localization

シェア:XThreadsFacebookLINEはてブBluesky

RWKVの状態進化を利用し、O(T)計算量で全シーケンス処理を実現する多粒度フレームワークを提案。双方向RWKV、多粒度MoE、粒度間一貫性により、偽造セグメントの正確な特定を実現した。

詳しい要約

1. どんなもの?

Temporal Forgery Localization (TFL) は、未編集のシーケンス内の改ざんされたセグメントを正確に特定するタスクである。提案手法 MG-RWKV は、RWKV のデータ依存状態進化を利用し、O(T) の複雑さで効率的な全シーケンス処理を実現するマルチ粒度フレームワークである。3つの主要な革新を含む: (1) 二次複雑性なしに双方向の時間的文脈を捉える Bidirectional RWKV アーキテクチャ、(2) 明示的な時間的受容野に対する動的ルーティングを行い、改ざん期間に基づいて粒度を適応的に選択する Multi-Granularity Mixture of Experts (MG-MoE)、(3) 階層的スケールワイズペアリングと空間的境界認識重み付けにより隣接する特徴ピラミッドレベルを整列させ、真正領域の誤検出を減らす Cross-Granularity Consistency (CGC) である。

2. 先行研究と比べてどこがすごい?

既存手法は CNN の局所受容野や Transformer の二次複雑性に制限されており、線形モデルはグローバルな真正文脈の圧縮と局所的な急激な改ざん知覚のバランスに苦労していた。MG-RWKV は RWKV を用いることで、線形複雑性を維持しつつ双方向の時間的文脈を効率的に捉え、MG-MoE により改ざん期間に応じた粒度の動的選択を可能にし、解釈可能性を高めている。また、CGC により真正領域での誤検出を低減し、既存手法の限界を克服している。

3. 技術・手法の肝は?

手法の核心は、RWKV のデータ依存状態進化を利用した効率的な全シーケンス処理と、マルチ粒度の動的ルーティングおよび一貫性学習にある。具体的には、Bidirectional RWKV で双方向の文脈を捉え、MG-MoE が明示的な時間的受容野をルーティングして改ざん期間に適した粒度を選択する。CGC は特徴ピラミッドの隣接レベルを階層的スケールワイズペアリングと空間的境界認識重み付けで整列させ、真正領域の誤検出を抑制する。

4. どうやって有効だと検証した?

Lav-DF、TVIL、Psynd の3つのデータセットで広範な実験を行い、MG-RWKV が低計算コストで最先端の性能を達成することを示した。

5. 議論はある?

要旨からは、提案手法の限界や特定の議論は不明である。ただし、MG-MoE による粒度選択の解釈可能性の向上や、CGC による誤検出低減の効果が強調されている。

6. 次に読むべき論文は?

要旨で参照されているデータセット (Lav-DF, TVIL, Psynd) や関連手法 (CNN, Transformer, RWKV) に関する論文が挙げられる。具体的には、RWKV の元論文や、Temporal Forgery Localization の既存手法 (例: CNN-based, Transformer-based) を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingchen Ni, Cangjin Yu, Dan Jiang, Quan Zhang, Keyu Lv, Shannan Yan, Linyue Pan, Ke Zhang, Chun Yuan

分類: cs.CV

原文アブストラクト

Driven by Artificial Intelligence-Generated Content (AIGC), the authenticity of audio-visual content is facing severe challenges. Temporal Forgery Localization (TFL) aims to precisely identify manipulated segments within untrimmed sequences. However, existing methods are limited by CNNs' local receptive fields or Transformers' quadratic complexity, while emerging linear models often struggle to balance global authentic context compression with local abrupt forgery perception. To address this, we propose MG-RWKV, a multi-granularity framework that leverages the data-dependent state evolution of RWKV to achieve efficient full-sequence processing with O(T) complexity. Our framework features three core innovations: (1) a Bidirectional RWKV architecture that captures bidirectional temporal contexts without quadratic overhead; (2) a Multi-Granularity Mixture of Experts (MG-MoE) that performs dynamic routing over explicit temporal receptive fields, adaptively selecting granularities based on forgery duration to significantly enhance decision interpretability; and (3) Cross-Granularity Consistency (CGC), which aligns adjacent feature pyramid levels through hierarchical scale-wise pairing and spatial boundary-aware weighting, effectively reducing false positives in authentic regions. Extensive experiments on Lav-DF, TVIL, and Psynd datasets demonstrate that MG-RWKV achieves state-of-the-art performance with low computational cost.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI