日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.03595

大規模視覚言語モデルを用いたトークンベースのアフォーダンス接地

Token-Based Affordance Grounding with Large Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルの出力トークンの注意マップを活用し、外部教師なしで行動関連領域を特定するゼロショットのアフォーダンス接地フレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、大規模視覚言語モデル(LVLM)のトークンレベルの意味・空間信号を利用して、外部教師なしで行動関連領域をローカライズするゼロショットのアフォーダンス接地フレームワークTokAGを提案する。

2. 先行研究と比べてどこがすごい?

従来の弱教師あり手法は、外心画像からの行動ラベルに依存し、視覚的に曖昧な画像や意味的に類似した行動の区別に課題があった。また、LVLMの出力トークンは空間的手がかりを暗黙的に含むが、直接的な空間ローカライズは提供しない。TokAGは、LVLMのトークン選択機構を導入し、任意の注意マップではなく、対象物体に支配的な活性を示すトークンを選ぶことで、ゼロショットで高精度なアフォーダンス接地を実現する点が新しい。

3. 技術・手法の肝は?

TokAGは、LVLMの出力トークンごとの注意マップを分析し、空間認識トークン選択機構を用いて、対象物体に支配的な活性を示すトークンを選択する。選択された注意マップを抽出し、ゼロショットのアフォーダンスヒートマップに変換する。外部教師信号を必要としない。

4. どうやって有効だと検証した?

AGD20Kの未分割スプリットでNSSを10.7%、HICO-IIFで29.7%改善し、複数のベンチマークで従来の弱教師あり手法を一貫して上回ることを示した。

5. 議論はある?

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、ゼロショット設定であるため、特定のドメインや複雑なシーンでの性能は検証が必要かもしれない。

6. 次に読むべき論文は?

要旨で参照されている先行研究(弱教師ありアフォーダンス接地手法)や、LVLMの注意マップを利用した関連研究。具体的には、Affordance groundingの既存研究や、LVLMの空間理解に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Affordance grounding aims to localize image regions that support a specific action, serving as a core capability for physical intelligence and embodied perception. Previous studies have primarily relied on weakly supervised learning with action labels from exocentric images. However, these methods often struggle with visually ambiguous exocentric images containing co-occurring actions; moreover, they fail to distinguish semantically similar actions because existing methods typically rely on brief action phrases that lack rich semantic details for action-specific localization. Although large vision-language models (LVLMs) encode rich action semantics and their action-conditioned textual outputs implicitly contain spatial cues, they do not directly provide action-specific spatial localization. To address these problems, we propose TokAG, a zero-shot affordance grounding framework that exploits the token-level semantic-spatial signals in LVLMs to localize action-relevant regions without external supervision. We observe that attention maps associated with different LVLM output tokens vary significantly, with many attending to irrelevant regions such as the background. Thus, we introduce a spatial-aware token-selection mechanism to systematically evaluate each output token and select the one whose attention maps exhibit dominant activation over the target object, instead of relying on arbitrary attention maps. By extracting these object-focused attention maps, we transform the LVLM's implicit semantic signals into zero-shot affordance heatmaps. Our zero-shot framework consistently outperforms prior weakly supervised approaches across multiple benchmarks, improving NSS by 10.7% on the unseen split of AGD20K and by 29.7% on HICO-IIF. The code and models will be made publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI