ForensicsTok: フォレンジック誘導トークン化モデリングによる画像改ざん位置特定
ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization
画像改ざん位置特定を自己回帰シーケンス生成として再構成し、トークンを直接マスクに変換する新しいデコーダと階層的専門家融合を導入して、MLLMベースの手法の精度を向上させた。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Lei Xu, Haowei Wang, Shen Chen, Taiping Yao, Bin Li, Changsheng Chen
分類: cs.CV
原文アブストラクト
Multi-modal Large Language Models (MLLMs) offer powerful reasoning for forensic tasks, yet existing approaches utilizing exogenous segmentation decoders often suffer from suboptimal localization. The reliance on stitched pipelines introduces information bottlenecks during backpropagation, which dilutes spatial signals and is limited by semantic priors of the segmentor. To address these limitations, we propose ForensicsTok, which reformulates image manipulation localization as an autoregressive sequence generation task. ForensicsTok directly generates spatially grounded token sequences, enabling precise mask prediction without intermediary supervision. Specifically, we introduce a Token Splatting Decoder (TSD) to map tokens to binary masks via codebook-aware code smoothing, which mitigates sharp gradients from deterministic detokenizers. Furthermore, to capture diverse tampering clues, we propose a Hierarchical Expert Fusion (HEF) module that injects multi-scale features from a forensic expert model. This unified architecture effectively compensates for the lack of forensic priors in standard MLLMs. Extensive experiments on six benchmarks show that ForensicsTok substantially improves over existing MLLM-based baselines and slightly improves over strong forensic expert baselines, while exhibiting stronger robustness to perturbations.
関連論文
- 確率制約付き逐次相互作用による画像改ざん位置特定画像フォレンジック
- 実物か偽物かを超えて:写真評価のための二チャネル真正性・推論プロトコル画像フォレンジック
- 順序依存クロスブランチ相互作用による画像改ざん位置特定画像フォレンジック
- エージェント型画像フォレンジックの解剖:トリアージ、プロンプティング、証拠仲裁の役割画像フォレンジック
- MoE-JEPA:意味事前知識と高周波痕跡を統合した合成画像フォレンジック画像フォレンジック
- テキスト中心画像フォレンジックのための証拠誘導型検出・位置特定・説明システム画像フォレンジック
