日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像フォレンジックarXiv:2606.24538

ForensicsTok: フォレンジック誘導トークン化モデリングによる画像改ざん位置特定

ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization

シェア:XThreadsFacebookLINEはてブBluesky

画像改ざん位置特定を自己回帰シーケンス生成として再構成し、トークンを直接マスクに変換する新しいデコーダと階層的専門家融合を導入して、MLLMベースの手法の精度を向上させた。

詳しい要約

1. どんなもの?

- 画像改ざん位置特定(Image Tampering Localization)を目的とした手法。 - MLLM(Multi-modal Large Language Model)をベースに、マスク予測を自己回帰的なトークン列生成として再定式化。 - 外部のセグメンテーションデコーダに依存せず、空間的に根拠のあるトークン列を直接生成する。 - Token Splatting Decoder(TSD)とHierarchical Expert Fusion(HEF)を導入。 - 6つのベンチマークで評価。

2. 先行研究と比べてどこがすごい?

- 既存のMLLMベース手法は外生的なセグメンテーションデコーダを利用し、局所化性能が不十分だった。 - 継ぎ接ぎのパイプラインは逆伝播時の情報ボトルネックを生み、空間信号を希釈し、セグメンタの意味的事前分布に制限される。 - ForensicsTokはこれらを解消し、MLLMベースのベースラインを大幅に改善。 - 強力なforensic expertベースラインをも僅かに上回り、摂動に対するロバスト性も高い。

3. 技術・手法の肝は?

- 画像操作位置特定を自己回帰的系列生成タスクとして再定式化。 - 空間的にグラウンディングされたトークン列を直接生成し、中間監督なしで正確なマスク予測を可能に。 - Token Splatting Decoder(TSD):codebook-aware code smoothingによりトークンをバイナリマスクに写像。決定論的detokenizerからの急峻な勾配を緩和。 - Hierarchical Expert Fusion(HEF):forensic expertモデルから多スケール特徴を注入し、多様な改ざん手がかりを捕捉。 - 統合アーキテクチャにより標準MLLMのforensic事前分布の欠如を補償。

4. どうやって有効だと検証した?

- 6つのベンチマークで広範な実験を実施。 - 既存のMLLMベースベースラインと比較して大幅な改善を確認。 - 強力なforensic expertベースラインと比較して僅かな改善を確認。 - 摂動に対するより強いロバスト性を示す。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化可能性に関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:MLLMベースのforensic手法、外生的セグメンテーションデコーダを用いる手法、forensic expertモデル。 - 関連手法:Multi-modal Large Language Models(MLLMs)、autoregressive sequence generation、Token Splatting Decoder、Hierarchical Expert Fusion。 - 同分野の定番:image tampering localization、forensic segmentation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lei Xu, Haowei Wang, Shen Chen, Taiping Yao, Bin Li, Changsheng Chen

分類: cs.CV

原文アブストラクト

Multi-modal Large Language Models (MLLMs) offer powerful reasoning for forensic tasks, yet existing approaches utilizing exogenous segmentation decoders often suffer from suboptimal localization. The reliance on stitched pipelines introduces information bottlenecks during backpropagation, which dilutes spatial signals and is limited by semantic priors of the segmentor. To address these limitations, we propose ForensicsTok, which reformulates image manipulation localization as an autoregressive sequence generation task. ForensicsTok directly generates spatially grounded token sequences, enabling precise mask prediction without intermediary supervision. Specifically, we introduce a Token Splatting Decoder (TSD) to map tokens to binary masks via codebook-aware code smoothing, which mitigates sharp gradients from deterministic detokenizers. Furthermore, to capture diverse tampering clues, we propose a Hierarchical Expert Fusion (HEF) module that injects multi-scale features from a forensic expert model. This unified architecture effectively compensates for the lack of forensic priors in standard MLLMs. Extensive experiments on six benchmarks show that ForensicsTok substantially improves over existing MLLM-based baselines and slightly improves over strong forensic expert baselines, while exhibiting stronger robustness to perturbations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI