証拠に基づく法医学的推論によるマルチモーダルメディア改ざんの検出と位置特定

本論文は、クロスモーダルな画像とテキストの偽造を検出し、その根拠を特定するタスク（DGM4）に対して、説明可能性を備えた検出器を提案する。提案手法は、Evidence-Grounded Forensic Reasoning (EFR) フレームワークに基づき、モダリティ分離された知覚とクロスモーダル比較を経て、結論の座標をアンカーとして下流のエビデンスを空間的に対応付けるAnchor-and-Verify推論チェーンを導入する。さらに、訓練時にエビデンスと結論の整合性を強制する検証可能な報酬システムと、タスク間のクレジット割り当てを改善するModality-Decoupled Advantage (MDA) ルーティング機構を備える。

既存のDGM4手法はブラックボックス的な検出結果のみを出力し、意思決定の根拠を提供しないため、フォレンジック実務での信頼性が限られる。本提案は、Multi-modal Large Language Models (MLLMs) を活用して説明可能性を実現する点で先行研究と異なる。特に、説明が予測されたエビデンス位置と乖離する問題や、一様な訓練信号が局在化トークンと分類トークンを区別しない問題に対処し、エビデンスと結論の整合性を能動的に最適化する点が新しい。

手法の核は、EFRフレームワークにおけるAnchor-and-Verify推論チェーンである。これは、モダリティ分離された知覚（modality-isolated perception）を最初に行い、その後クロスモーダル比較を行う。結論の座標を明示的なアンカーとして設定し、下流のエビデンスがそのアンカーに空間的に対応するように強制する。訓練時には、検証可能な報酬システムを用いてエビデンスと結論の整合性を強化し、Modality-Decoupled Advantage (MDA) ルーティング機構により、分類タスクと局在化タスク間のクレジット誤割り当てを軽減する。

実験により、提案手法がDGM4タスクにおいてState-of-the-Artの性能を達成し、説明をエビデンスに明示的に結び付ける構造化されたフォレンジック推論記録を生成することを示した。具体的なデータセットや評価指標は要旨からは不明だが、既存手法との比較を通じて有効性を検証している。

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、説明とエビデンスの整合性を強制するアプローチは、誤ったエビデンスに基づく説明を防ぐ一方で、モデルの柔軟性を制限する可能性や、報酬システムの設計が複雑になる可能性が考えられるが、要旨では言及されていない。

要旨で参照されている関連研究として、Multi-modal Large Language Models (MLLMs) の応用や、DGM4タスクの既存手法が挙げられる。具体的な論文名は不明だが、MLLMsの説明可能性やクロスモーダル偽造検出に関する研究を読むことが推奨される。