OmniVL-Guard Pro: ツール拡張エージェントによる包括的視覚言語フォレンジクス

- 既存の vision-language forgery detection/grounding は closed-world 前提で、モデル単体での検証を想定。 - しかし self-contained MLLM は有限な parametric knowledge、静的 training corpora、限られた perceptual resolution に制約され、動的な open-world forensics で性能上限がある。 - 特に外部手がかりを要する real-time event verification や、局所改ざんの fine-grained 精査を要する forgery segmentation で問題。 - そこでモデルを拡大するのではなく、外部ツールへ到達させる方向へ転換。 - 提案 OmniVL-Guard Pro は tool-augmented agent で、unified forensics を closed-world prediction から open-world clues-driven reasoning へ拡張する。

- 従来は self-contained MLLM のパラメータ・学習コーパス・解像度の制約下で閉世界予測を行っていた。 - 本研究は『モデルを大きくする』のではなく『モデルを超えて外部ツールに到達させる』点が異なる。 - 外部ツール環境を統合し、open-world の手がかり駆動推論を可能にした。 - さらに tool-reasoning trajectory 生成と process-level supervision を導入し、推論過程の歪みも罰する。 - 結果として各種タスクで state-of-the-art かつ強い zero-shot generalization を示す。

- tool 環境を統合: real-time event search、local cropping and zooming、edge-anomaly screening、face detection、video frame extraction、SAM3-based segmentation。 - 高品質な tool-reasoning trajectory 生成のため Tree-Structured Self-Evolving Tool Trajectory Generation を導入。 - seed guidance、guider-free self-evolution、weakly-hinted hard sample synthesis で多様な trajectory を生成。 - これにより Full-Spectrum Tool Reasoning (FSTR) dataset を構築し学習に使用。 - さらに Checker-Guided Agentic Reinforcement Learning (CGARL) を提案。 - 答えは正しいが推論が歪んで…

- Extensive experiments により、OmniVL-Guard Pro が various tasks で state-of-the-art performance を達成。 - 強い zero-shot generalization を示す。 - 具体的なデータセット名・ベースライン・評価指標は要旨からは不明。

- 要旨からは不明。 - 想定される論点として、tool 環境の依存性、trajectory 生成コスト、CGARL の安定性、open-world での評価限界などが考えられるが、要旨に明記はない。

- 要旨で参照/比較されている研究: 既存の vision-language forgery detection and grounding methods、self-contained MLLMs。 - 関連手法: SAM3-based segmentation、Tree-Structured Self-Evolving Tool Trajectory Generation、Checker-Guided Agentic Reinforcement Learning (CGARL)。 - 同分野の定番として、vision-language forgery detection、forgery grounding、MLLM-based forensics、tool-augmented agent、reinforcement learning for reasoning に関する論文を次に読むべき。