日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VQA/接地型推論arXiv:2606.23354

学習可能なプロキシトークンによる忠実な接地型視覚推論

Faithful Grounded Visual Reasoning via Learned Proxy-Tokens

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルにおいて、座標ではなく学習可能なプロキシトークンで画像領域を指し示す新しい接地機構を提案し、推論の一貫性と接地精度を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、Multimodal Large Language Models (MLLMs) のVisual Question Answering (VQA) における「black-box」問題に対処するため、Grounded Visual Reasoning (GVR) の新しい手法を提案する。 - 提案手法はComposerと呼ばれ、learned proxy-tokensに基づくvisual grounding機構を導入する。 - これにより、テキスト座標ではなく、画像潜在空間をインデックスする離散的なシンボリックポインタを用いて、視覚領域をアドレス可能で意味的に操作可能な集合として扱う。 - また、評価用データセットComposerGCoTを構築し、推論の一貫性とgrounding精度を総合的に評価する。

2. 先行研究と比べてどこがすごい?

- 従来のGVRはテキスト座標を用いてrationaleとvisual groundingを結びつけるが、視覚特徴との学習可能な意味的リンクが欠如し、semantic-spatial gapにより画像証拠に対応しない座標をhallucinateする問題があった。 - 提案手法はlearned proxy-tokensにより、このギャップを埋め、離散的なシンボリックポインタで視覚領域を操作する点が新しい。 - 実験では、最終回答精度で座標ベースの counterpart と同等の性能を維持しつつ、visual grounding精度を+9.0ポイント改善した。

3. 技術・手法の肝は?

- 技術の肝は、learned proxy-tokensと呼ばれる離散的なシンボリックポインタを導入し、画像潜在空間を明示的にインデックスすることである。 - これにより、モデルは視覚領域をアドレス可能で意味的に操作可能な集合として扱える。 - また、ComposerGCoTデータセットを合成し、推論一貫性とgrounding精度を包括的に評価できるようにした。

4. どうやって有効だと検証した?

- 構築したComposerGCoTデータセットを用いて、推論一貫性とgrounding精度を総合的に評価した。 - 実験結果として、Composerは座標ベースの counterpart と最終回答精度で同等の性能を示し、visual grounding精度を+9.0ポイント向上させた。 - これにより、離散proxy-tokensがテキスト座標よりも空間意味を効果的に捉えることを実証した。

5. 議論はある?

- 本論文では、learned semantic linksを持つvisual grounding機構が信頼性の高いMLLMsへの有望な道であると主張している。 - ただし、具体的な限界や議論の詳細は要旨からは不明である。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、Grounded Visual Reasoning (GVR) の従来手法(テキスト座標ベース)が挙げられる。 - また、関連手法としてMultimodal Large Language Models (MLLMs) やVisual Question Answering (VQA) の一般的な研究が背景にある。 - 具体的な論文名は要旨に明記されていないため、同分野の定番としてGVRやMLLMsの関連研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch

分類: cs.CV

原文アブストラクト

Multimodal Large Language Models (MLLMs) have achieved remarkable success in Visual Question Answering (VQA), yet their "black-box" nature hinders deployment in critical domains. Grounded Visual Reasoning (GVR) approaches attempt to improve interpretability by explicitly couple textual rationales with visual grounding information, which are typically textual coordinates. This mechanism lacks a learnable semantic link to the visual features, often resulting in a semantic-spatial gap where the model hallucinates coordinates that do not correspond to image evidences. In this work, we introduce Composer, a MLLM that leverages a novel visual grounding mechanism based on learned proxy-tokens to promote faithful interpretability. These discrete symbolic pointers explicitly index the image latent space, allowing the model to manipulate visual regions as addressable, semantically manipulable sets. To rigorously validate our novel grounding mechanism, we constructed ComposerGCoT, a dataset synthesized to enable holistic assessment of reasoning consistency and grounding accuracy. Experimental results indicate that Composer achieves performance parity with its coordinate-based counterpart in final answer accuracy, while improving visual grounding accuracy by +9.0 points. By demonstrating that discrete proxy-tokens capture spatial semantics more effectively than typical textual coordinates, we establish that visual grounding mechanisms with learnable semantic links represent a promising path toward trustworthy and reliable MLLMs.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI