日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.08999

CLUE: 注意機構を用いた言語視覚理解によるクロスモーダル曖昧性解消

CLUE: Crossmodal disambiguation via Language-vision Understanding with attEntion

シェア:XThreadsFacebookLINEはてブBluesky

VLMのクロスモーダル注意を空間的に接地した信号に変換し、参照曖昧性を検出して質問すべきタイミングを判断する対話型視覚接地モデルを提案。

詳しい要約

1. どんなもの?

- ロボットのInteractive Visual Grounding (IVG) において、VLMのcross-modal attentionを活用し、参照の曖昧性を検出して質問すべきタイミングを判断する手法CLUEを提案。 - テキストから画像へのattention mapを軽量CNNで処理して曖昧性を検出し、LoRAで微調整したdecoderが対話とgrounding location tokenを生成。 - 実世界の対話データセットと混合曖昧性セットで訓練。

2. 先行研究と比べてどこがすごい?

- 既存のIVGモデルは曖昧性を検出する明示的なメカニズムを持たず、学習済み表現に暗黙的に依存していた。 - CLUEはVLMのcross-modal attentionを明示的な空間的シグナルに変換し、質問すべきタイミングを決定。 - InViGのみの監督で、パラメータ効率的な微調整を用いて最先端手法を上回り、曖昧性検出器も既存ベースラインを凌駕。

3. 技術・手法の肝は?

- VLMのテキストから画像へのattention mapを抽出し、軽量CNNに入力して参照の曖昧性を検出。 - LoRAで微調整したdecoderが対話を実行し、grounding location tokenを出力。 - 実世界の対話データセットと混合曖昧性セットで訓練。

4. どうやって有効だと検証した?

- 実世界の対話データセット(InViG)と混合曖昧性セットを用いて訓練・評価。 - InViGのみの監督で、最先端手法を上回る性能を達成。 - 曖昧性検出器が既存ベースラインを上回ることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- InViG(Interactive Visual Groundingのデータセット) - VLM(Vision-Language Model) - LoRA(Low-Rank Adaptation) - 軽量CNN(Convolutional Neural Network)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mouad Abrini, Mohamed Chetouani

分類: cs.RO

原文アブストラクト

With the increasing integration of robots into daily life, human-robot interaction has become more complex and multifaceted. A critical component of this interaction is Interactive Visual Grounding (IVG), through which robots must interpret human intentions and resolve ambiguity. Existing IVG models generally lack a mechanism to determine when to ask clarification questions, as they implicitly rely on their learned representations. CLUE addresses this gap by converting the VLM's cross-modal attention into an explicit, spatially grounded signal for deciding when to ask. We extract text to image attention maps and pass them to a lightweight CNN to detect referential ambiguity, while a LoRA fine-tuned decoder conducts the dialog and emits grounding location tokens. We train on a real-world interactive dataset for IVG, and a mixed ambiguity set for the detector. With InViG-only supervision, our model surpasses a state-of-the-art method while using parameter-efficient fine-tuning. Similarly, the ambiguity detector outperforms prior baselines. Overall, CLUE turns the internal cross-modal attention of a VLM into an explicit, spatially grounded signal for deciding when to ask. The data and code are publicly available at: mouadabrini.github.io/clue

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI