REVEAL: 参照に基づく推論によるマルチモーダル操作検出

- 本論文は、マルチモーダルな操作検出（Multimodal manipulation detection）の新しい枠組みを提案する。 - 従来のように孤立したアーティファクトを記憶するのではなく、人間の比較推論に着想を得て、クエリを取得した真正な証拠と比較する『参照に基づく検証問題』として再定式化する。 - 提案フレームワークREVEAL（Reference-Enabled Verification for Evidence Analysis and Localization）は、この比較パラダイムのために設計されている。 - 170Kの真正なニュース画像-テキストペア（40K以上の公人を含む）からなる大規模参照ライブラリを構築する。 - インスタンスレベルの検出と細粒度のグラウンディングを同時に行う。

- 既存手法は孤立したアーティファクトの記憶に依存し、知覚困難な操作痕跡やドメインシフトに苦戦する。 - REVEALは参照に基づく比較検証により、これらの問題に対処する。 - 実験でstate-of-the-art手法を大幅に上回る性能を示す。 - 参照ライブラリを更新するだけでtraining-free domain adaptationを可能にし、進化する誤情報検出に頑健で実用的なソリューションを提供する。

- 参照に基づく検証パラダイムを採用し、クエリと取得した真正な証拠を比較する。 - difference-aware fusion mechanismにより、クエリと取得証拠間の細かい不一致を捉える。 - task-decoupled Mixture-of-Experts (MoE) アーキテクチャを導入し、インスタンスレベルの検出と細粒度グラウンディングを共同実行する。 - これにより異種目的間の最適化競合を効果的に緩和する。 - 大規模参照ライブラリ（170Kの真正なニュース画像-テキストペア、40K以上の公人）を構築。

- 広範な実験により、REVEALがstate-of-the-art手法を大幅に上回ることを示す。 - 参照ライブラリを更新するだけでtraining-free domain adaptationが可能であることを実証。 - コードは https://anonymous.4open.science/r/REVEAL-Reference-A006 で公開。 - 具体的なデータセット名や評価指標は要旨からは不明。

- 参照ライブラリの更新によるtraining-free domain adaptationが可能で、進化する誤情報検出に実用的。 - 異種目的間の最適化競合の緩和が重要であると示唆。 - 限界や倫理的考慮、計算コストなどは要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、multimodal manipulation detection、Mixture-of-Experts (MoE)、difference-aware fusion、training-free domain adaptation、reference-grounded verification などが挙げられる。 - 同分野の定番として、image-text forgery detection や tampered region localization の論文を読むと良い。