視覚接地2026/6/28arXiv:2606.29267

任意のオープンソースMLLMの部品レベル点接地を強化する手法

Enhancing Part-Level Point Grounding for Any Open-Source MLLMs

MLLMの注意機構を利用し、凍結したまま部品レベルの2D点接地を可能にする軽量デコーダを提案した。

詳しい要約

1. どんなもの？

- 目的: 任意のオープンソースMLLMに2D part-level point grounding能力を付与する汎用手法を提案。 - 背景: 既存MLLMはobject-level groundingに強く、part-level groundingは苦手。 - 特徴: 元のMLLMパラメータを凍結し、追加モジュールのみでpart-level point groundingを実現。 - 応用: robotic manipulationなどfine-grainedタスクに有用。

2. 先行研究と比べてどこがすごい？

- 従来のMLLMは主にobject-level groundingに優れ、part-level groundingは不十分。 - 提案手法は任意のオープンソースMLLMに適用可能で、モデル非依存の汎用性が高い。 - 元のMLLMパラメータを凍結するため、事前学習能力を完全に保持。 - 従来のgrounding表現に代わる、より直接的なpoint-based表現を提供。

3. 技術・手法の肝は？

- MLLM内部のattention機構を活用。 - Q-Synth Moduleにより、中間層でtext-conditionedかつgrounding-awareなqueryを合成。 - 合成queryでtarget関連のattentionパターンを捕捉。 - 軽量なAttention-to-Point Decoderでattentionパターンをpoint-centric heatmapに変換し、最終予測を行う。 - 全MLLMパラメータは凍結。

4. どうやって有効だと検証した？

- 複数データセットでpart-level grounding精度が一貫して向上することを実験で確認。 - 任意のオープンソースMLLMにシームレスに統合可能であることを示した。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある？

- 提案手法の有効性と汎用性が示唆されるが、限界や失敗事例、計算コスト、他のgrounding表現との比較などの議論は要旨からは不明。 - part-level groundingの難しさやrobotic manipulationへの応用可能性に言及。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、MLLMを用いたvisual grounding（object-level）、attention-based grounding、point-based grounding、part-level segmentation、robotic manipulation向けfine-grained groundingの定番研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin-Cheng Jhang, Fu-En Wang, Xin Yang, Nan Qiao, Lu Xia, Min Sun, Cheng-Hao Kuo

分類: cs.CV

原文アブストラクト

Visual grounding aims to associate free-form textual queries with specific regions in an image. While recent Multimodal Large Language Models (MLLMs) have demonstrated promising capabilities in this domain, they primarily excel at object-level grounding and often struggle with part-level grounding-an essential requirement for fine-grained tasks such as robotic manipulation. In this work, we introduce a general approach that equips any open-source MLLMs with accurate 2D part-level point grounding, offering a more direct alternative to conventional grounding representations. Our method leverages the attention mechanisms inherently present in MLLMs. By synthesizing text-conditioned, grounding-aware queries within intermediate layers via the proposed Q-Synth Module, we capture target-relevant attention patterns and refine them with a lightweight Attention-to-Point Decoder, which converts these patterns into a point-centric heatmap for final prediction. Notably, all original MLLM parameters are frozen, ensuring full preservation of their pre-trained capabilities. Experiments show that our design consistently improves part-level grounding accuracy across datasets and can be seamlessly integrated into any open-source MLLMs.

arXivで原文を読む →arXiv概要ページ

← 論文一覧